Qdrant atau Weaviate: latensi dan recall untuk RAG

Untuk aplikasi RAG, pilih Qdrant jika waktu pencarian menjadi batas utama dan mutu hasilnya sudah memenuhi kebutuhan; pilih Weaviate jika tambahan hasil relevan pada data sendiri lebih berharga daripada selisih waktu respons. Dalam penelitian benchmark SIFT1M dengan konfigurasi bawaan, Qdrant mencatat latensi p50 sebesar 4,55 ms dan Recall@100 sebesar 0,959, sedangkan Weaviate mencapai Recall@100 sebesar 0,996. Hasil itu memperlihatkan bahwa sistem yang lebih cepat dalam satu pengujian belum tentu menemukan bagian terbesar dari hasil yang dicari.

SIFT1M berisi deskriptor gambar, bukan potongan dokumen berbahasa Indonesia. Pengujian tersebut menjalankan pencarian vektor pada satu mesin, tanpa filter metadata atau pencarian hibrida. Karena beban kerja RAG juga ditentukan oleh teks, kueri pengguna, pembatasan akses, dan tahap pengurutan ulang, angka benchmark itu lebih tepat dipakai untuk mengenali kompromi awal daripada menetapkan pemenang produksi.

Recall indeks berbeda dari mutu konteks RAG

Recall@K pada pencarian tetangga terdekat menunjukkan seberapa banyak hasil pencarian eksak yang kembali ditemukan oleh indeks perkiraan pada kedalaman K. Angka ini berguna untuk menilai kehilangan akibat konfigurasi indeks. Namun, tetangga vektor yang benar belum tentu merupakan potongan dokumen yang menjawab pertanyaan: model embedding mungkin kurang memahami istilah setempat, atau pemotongan dokumen dapat memisahkan jawaban dari konteksnya.

Karena itu, perbandingan perlu mengukur dua hal secara terpisah: recall indeks terhadap pencarian eksak dengan vektor yang sama, lalu keberhasilan menemukan potongan yang telah dinilai relevan untuk setiap kueri. Catat juga posisi potongan tersebut dalam hasil. Jika aplikasi mengambil banyak kandidat untuk diurutkan ulang, ukur recall pada kedalaman kandidat yang benar-benar diteruskan; pengurut ulang tidak dapat menaikkan dokumen yang sejak awal tidak ditemukan.

Latensi baru sebanding pada ambang recall yang sama

p50 menggambarkan waktu respons tengah, sementara p99 menunjukkan ekor permintaan yang lebih lambat. Keduanya perlu diukur setelah Qdrant dan Weaviate disetel hingga mencapai ambang recall yang sama pada korpus yang sama. Membandingkan konfigurasi tercepat dari satu sistem dengan konfigurasi bermutu tinggi dari sistem lain akan mencampur perbedaan produk dengan pilihan pengaturan indeks.

Jalankan kueri pada tingkat permintaan bersamaan yang mendekati penggunaan nyata, lalu catat p50, p99, throughput, dan penggunaan memori. Ukur waktu basis data terpisah dari waktu RAG secara menyeluruh: pembuatan embedding kueri, perjalanan jaringan, pengurutan ulang, dan penyusunan jawaban memiliki biaya sendiri. Selisih kecil pada pencarian dapat tenggelam di tahap lain, sementara kenaikan p99 ketika layanan sibuk bisa menentukan apakah batas waktu aplikasi terlampaui.

Pencarian hibrida mengubah apa yang dibandingkan

Dokumen organisasi memadukan pertanyaan semantik dengan istilah yang harus cocok persis, seperti kode barang, singkatan, atau nomor kebijakan. Panduan pencarian hibrida Qdrant menjelaskan penggunaan vektor dense dan sparse pada entri yang sama, pencarian melalui prefetch, serta penggabungan hasil dengan metode seperti Reciprocal Rank Fusion. Representasi leksikal dan jumlah kandidat dari setiap jalur ikut menentukan dokumen mana yang masuk hasil akhir.

Dokumentasi pencarian hibrida Weaviate menjelaskan perpaduan pencarian vektor dan BM25, pilihan metode penggabungan, serta parameter alpha untuk bobot hasil vektor. Bobot yang berlaku ketika alpha tidak ditetapkan dapat berbeda menurut perilaku klien dan versi server. Maka, uji istilah persis dan parafrasa secara terpisah, tetapkan bobot secara eksplisit, dan simpan metode penggabungan bersama hasil pengukuran. Skor hibrida antarsistem tidak dapat dibandingkan begitu saja ketika jalur leksikal dan cara menggabungkannya berbeda.

Filter, ketersediaan, dan lokasi pengelolaan

Filter tenant, hak akses, bahasa, atau masa berlaku dokumen harus menjadi bagian dari kueri uji bila dipakai di produksi. Filter yang selektif mengubah kumpulan kandidat dan pekerjaan indeks; hasil tanpa filter dapat memberi gambaran keliru tentang recall maupun latensi. Pemeriksaan mutu juga harus memastikan dokumen di luar hak akses tidak masuk konteks yang dikirim ke model.

Ikhtisar Qdrant menjelaskan indeks payload untuk pencarian dengan filter dan pilihan Open Source, Managed Cloud, Hybrid Cloud, serta Private Cloud. Matriks fiturnya mencantumkan failover otomatis untuk pilihan terkelola, hybrid, dan private, sehingga jenis deployment perlu dicatat bersama hasil kinerja. Pilihan deployment Weaviate meliputi Weaviate Cloud, Docker untuk evaluasi atau pengembangan, serta Kubernetes untuk pengelolaan sendiri hingga produksi; replikasi untuk ketersediaan tinggi tercantum sebagai opsi pada layanan cloud.

Bandingkan biaya hanya setelah rancangan kedua sistem memenuhi kebutuhan ketersediaan yang sama. Replikasi, pencadangan, pemantauan, peningkatan versi, dan pemulihan setelah simpul gagal memerlukan kapasitas tim atau layanan yang menanganinya. Lokasi penyimpanan data dan pembagian tanggung jawab operasi dapat menjadi penentu ketika kedua produk telah memenuhi target pencarian.

Matriks keputusan untuk beban kerja RAG

Gunakan syarat berikut sebagai matriks keputusan. Isi hasil Qdrant dan Weaviate dari pengujian yang memakai korpus, model embedding, perangkat keras, serta beban permintaan yang sebanding.

Recall: Bandingkan kehilangan hasil terhadap pencarian eksak dan keberhasilan menemukan potongan jawaban. Sistem yang unggul pada metrik indeks saja belum tentu unggul untuk pertanyaan pengguna.
p50 dan p99: Nilai keduanya pada ambang recall yang sama, termasuk ketika permintaan berjalan bersamaan. Dahulukan sistem yang memenuhi batas respons aplikasi secara konsisten.
Pencarian hibrida: Pisahkan kueri istilah persis dari kueri dengan padanan makna. Catat representasi leksikal, bobot, metode penggabungan, dan kedalaman kandidat.
Filter: Ukur kombinasi metadata dan hak akses yang dipakai aplikasi. Nilai sekaligus mutu hasil dan ketepatan pembatasan dokumennya.
Ketersediaan tinggi: Cocokkan edisi atau layanan yang akan dijalankan, jumlah salinan data, dan tanggung jawab pemulihan saat simpul gagal.
Deployment: Pilih layanan terkelola atau pengelolaan sendiri menurut lokasi data, kemampuan tim, dan biaya operasi pada rancangan yang setara.

Template benchmark untuk korpus Indonesia

Ambil sampel dokumen yang mewakili isi dan perubahan korpus produksi, dengan data sensitif ditangani sesuai kebijakan organisasi. Gunakan pembagian dokumen, model embedding, dimensi vektor, serta metadata yang sama di kedua sistem. Susun kueri dari kebutuhan nyata: parafrasa bahasa Indonesia, singkatan, nama entitas, istilah teknis persis, dan pertanyaan yang memerlukan filter. Sebagai contoh hipotetis, pasangan “pengembalian barang” dan “retur” menguji padanan makna, sedangkan kode produk menguji kecocokan istilah.

Tandai potongan yang relevan untuk setiap kueri. Simpan hasil pencarian eksak sebagai pembanding recall indeks, lalu kelompokkan hasil menurut jenis kueri agar rata-rata tidak menutupi kegagalan pada istilah persis.
Uji pencarian vektor, pencarian hibrida, dan filter sesuai urutan kebutuhan aplikasi. Catat versi produk, pengaturan indeks, bobot penggabungan, kedalaman kandidat, ukuran indeks, serta penggunaan memori.
Sesuaikan konfigurasi hingga kedua sistem mencapai ambang mutu yang disepakati. Setelah itu, ukur p50, p99, dan throughput pada beban yang sama, termasuk ketika data sedang diperbarui.
Jika keduanya memenuhi mutu dan batas respons, putuskan berdasarkan kebutuhan filter, ketersediaan, lokasi data, serta pekerjaan operasi yang sanggup ditanggung tim.