RAG atau fine-tuning? Data yang berubah membuat pilihannya tidak seimbang

Jika pengetahuan aplikasi sering berubah, pilih RAG sebagai jalur utama. Dokumen dapat diperbarui tanpa melatih ulang model, sedangkan bagian yang ditemukan dapat disimpan bersama URL, tanggal, dan metadata untuk membantu penelusuran jawaban. Fine-tuning lebih tepat ketika kebutuhan utamanya bukan memasukkan fakta terbaru, melainkan membuat model mengikuti format, klasifikasi, gaya, atau pola respons tertentu secara konsisten.

Itulah sebabnya pilihan keduanya tidak seimbang untuk data dinamis: RAG mengubah pengetahuan yang tersedia saat permintaan diproses, sementara fine-tuning mengubah parameter model. Keduanya dapat digabungkan, tetapi keputusan awal harus dimulai dari pertanyaan yang tepat—apakah aplikasi perlu mengetahui fakta baru atau menunjukkan perilaku baru?

Pohon keputusan dimulai dari laju perubahan data

Gunakan urutan berikut sebelum membandingkan model, penyedia layanan, atau basis data vektor:

1. Apakah fakta berubah setiap hari, minggu, atau bulan? Jika ya, utamakan RAG. Katalog produk, SOP, ketentuan layanan, dan kebijakan dapat diperbarui melalui pipeline ingest dan indeks tanpa mengubah bobot model.
2. Apakah jawaban harus dapat ditelusuri ke dokumen? RAG memungkinkan sistem membawa bagian teks dan metadata sumber ke proses generasi. Namun, sitasi tetap harus diperiksa karena keberadaan dokumen di dalam konteks tidak menjamin semua klaim model didukung oleh dokumen tersebut.
3. Apakah tersedia contoh input-output berlabel yang mewakili produksi? Jika belum, fine-tuning bukan jalan pintas untuk kekurangan pengetahuan. Mulailah dengan prompt dan evaluasi; tambahkan RAG bila masalahnya adalah akses ke fakta eksternal.
4. Apakah sasaran utamanya perilaku berulang? Fine-tuning layak diuji untuk klasifikasi, keluaran terstruktur, terminologi domain, nada, atau pola respons yang sulit dipertahankan hanya dengan prompt.
5. Bisakah tim memelihara aset yang diperlukan? RAG membutuhkan korpus dan retrieval yang sehat; fine-tuning membutuhkan dataset, versi model, pelatihan, serta uji regresi.

Panduan Microsoft menempatkan RAG untuk konten dinamis, cakupan luas, dan sumber daya pelatihan terbatas, sedangkan fine-tuning ditujukan pada tugas khusus dengan data domain yang memadai serta konten relatif stabil.

RAG mengubah konteks; fine-tuning mengubah model

RAG mencari informasi ketika permintaan datang, lalu memasukkan bagian yang relevan ke konteks model. Kualitas jawaban bergantung pada seluruh rantai: kebersihan dokumen, pemotongan teks, metadata, embedding, penyaringan hak akses, retrieval, reranking, dan kemampuan model menggunakan bukti. Dokumen yang benar tetapi tidak ditemukan tidak dapat membantu jawaban.

Fine-tuning memperbarui parameter model berdasarkan data pelatihan. Metode ini dapat meningkatkan konsistensi pada tugas sempit, tetapi fakta di dalam bobot tidak menyediakan jejak sumber praktis seperti dokumen yang diambil saat inference. Ketika materi berubah, tim perlu memperbarui dataset, menjalankan pelatihan lagi, memilih versi model, dan memeriksa regresi.

Perbandingan Google Cloud membedakan RAG sebagai penambahan pengetahuan eksternal ke prompt dan fine-tuning sebagai perubahan parameter; panduan yang sama menyoroti kebutuhan data yang lebih kuat, risiko overfitting dan catastrophic forgetting, serta peluang memakai model terspesialisasi yang lebih kecil untuk menekan biaya dan latensi pada volume tinggi.

Dalam contoh hipotetis di Indonesia, chatbot yang menjawab dari SOP cabang, daftar produk, atau ketentuan layanan yang rutin direvisi sebaiknya tidak memakai bobot model sebagai penyimpanan utama. Sebaliknya, sistem yang mengubah tiket pelanggan menjadi kategori dan format eskalasi tertentu dapat menjadi kandidat fine-tuning jika contoh berlabel mencakup bahasa formal, singkatan, variasi ejaan, dan kasus yang benar-benar muncul di kanal produksi.

Hasil eksperimen bukan peringkat universal

Sebuah eksperimen membandingkan continual pretraining tanpa label, supervised fine-tuning, dan RAG pada tiga model sumber terbuka berparameter 7B. Pengujian mencakup QASC serta lebih dari 10.000 pertanyaan pilihan ganda multi-hop yang disusun dari peristiwa Wikipedia 2024 untuk menguji pengetahuan setelah batas data pralatih model.

Makalah Yang dan rekan-rekannya menemukan bahwa RAG memberi peningkatan yang konsisten dan meningkatkan akurasi lebih dari dua kali lipat pada dataset peristiwa 2024, sementara supervised fine-tuning mencapai akurasi keseluruhan tertinggi pada model dan dataset yang diuji. Hasil itu tidak berarti supervised fine-tuning selalu unggul di produksi: tugasnya berupa soal pilihan ganda multi-hop, skala modelnya tetap, korpusnya dikendalikan, dan metode supervised menerima pasangan pertanyaan-jawaban berlabel.

Batas generalisasi tersebut penting. Aplikasi layanan pelanggan dengan pertanyaan terbuka, dokumen berbahasa Indonesia, tabel, PDF hasil pindai, kontrol akses per pengguna, dan tuntutan sitasi memiliki sumber kegagalan yang tidak dicakup penuh oleh benchmark itu. Penelitian tersebut menunjukkan bahwa jenis supervisi dan cara memasukkan pengetahuan memengaruhi hasil, bukan menetapkan pemenang untuk semua sistem.

Bandingkan biaya sistem, bukan satu tagihan

Untuk RAG, ukur biaya ingest dokumen, pembuatan embedding, penyimpanan indeks, pencarian atau reranking per permintaan, token konteks tambahan, latensi retrieval, evaluasi kualitas pencarian, dan pekerjaan menghapus data usang. Sertakan pula biaya menangani versi dokumen serta hak akses yang salah.

Untuk fine-tuning, hitung pengumpulan dan pelabelan contoh, pembersihan data, eksperimen pelatihan, evaluasi terpisah, penyimpanan versi, inference model hasil tuning, pemantauan drift, dan pelatihan ulang. Model yang lebih kecil dan terspesialisasi mungkin menurunkan biaya per permintaan pada volume besar, tetapi manfaat itu harus dibuktikan melalui uji kualitas, latensi, dan throughput.

Kerangka bulanan yang dapat diaudit adalah biaya tetap pengembangan dan pemeliharaan + jumlah permintaan × biaya variabel per permintaan + biaya setiap perubahan × frekuensi pembaruan. Masukkan waktu kerja tim, bukan hanya tagihan komputasi. Jika setiap perubahan dokumen memicu pelatihan ulang dan regresi, fine-tuning menjadi mahal secara operasional; jika korpus stabil tetapi setiap permintaan membawa konteks panjang, RAG bisa lebih mahal.

Kombinasi perlu pembagian tugas yang jelas

Pendekatan hibrida masuk akal ketika aplikasi memerlukan fakta terbaru sekaligus perilaku khusus. RAG memasok bukti yang berlaku saat permintaan diterima, sedangkan model yang telah di-fine-tune membentuk bukti itu menjadi keluaran yang konsisten. Fine-tuning tidak memperbaiki dokumen yang salah atau retrieval yang gagal; RAG juga tidak dengan sendirinya mengajarkan pola perilaku baru.

Panduan AWS menyarankan RAG sebagai titik awal untuk tanya jawab yang merujuk dokumen khusus, fine-tuning untuk tugas tambahan seperti peringkasan, dan kombinasi keduanya bila kebutuhan memang mencakup kedua fungsi tersebut.

Keputusan akhir sebaiknya memakai set evaluasi dari permintaan produksi yang telah dianonimkan dan diberi jawaban acuan. Ukur retrieval recall, dukungan sumber terhadap klaim, kebenaran jawaban, kepatuhan format, latensi, dan biaya per jawaban yang lolos evaluasi. Jika kegagalan terbesar adalah dokumen yang tidak ditemukan, perbaiki RAG; jika bukti sudah tepat tetapi keluaran terus melanggar pola yang sama, fine-tuning memiliki sasaran yang jelas.

Baca juga:

• Sol, Terra, atau Luna: model termurah belum tentu paling cepat
• Menghapus Google My Activity tidak otomatis membersihkan semua riwayat
• Menghapus My Activity tidak menghapus riwayat browser—ini langkah lengkapnya