RAG atau fine-tuning: pengetahuan baru dan perilaku model butuh jalur berbeda

Untuk aplikasi AI berbasis data organisasi, pilih RAG ketika jawaban harus mengikuti dokumen yang berubah dan menunjukkan rujukannya. Pilih fine-tuning ketika masalah utamanya ialah cara model menjalankan tugas secara konsisten, misalnya mengikuti struktur keluaran atau menggunakan konteks yang diberikan. Panduan AWS menyarankan RAG sebagai titik awal untuk tanya jawab atas dokumen khusus karena dokumen baru dapat dimasukkan dengan cepat dan jawaban dapat menyertakan rujukan sumber.

Gabungkan keduanya bila aplikasi memerlukan fakta terbaru sekaligus perilaku yang belum cukup konsisten dengan instruksi dan contoh dalam prompt. Pilihan itu bergantung pada jenis pertanyaan, mutu dokumen, dan keluaran yang diharapkan. Dokumen yang berhasil ditemukan belum tentu dipakai dengan benar; jawaban yang rapi pun belum tentu memakai ketentuan terbaru.

Matriks keputusan: kebutuhan mana yang menentukan?

Perbedaan paling berguna terletak pada apa yang harus berubah ketika kebutuhan organisasi berubah. Matriks ini merangkum pertimbangan arsitektur, bukan peringkat akurasi yang berlaku untuk semua tugas.

• Kebaruan data: Jika kebijakan, katalog, atau prosedur sering direvisi, RAG memungkinkan aplikasi mengambil isi dokumen yang tersedia saat pertanyaan diajukan. Jika fakta relatif tetap dan tugasnya berulang, fine-tuning lebih layak dipertimbangkan.
• Kebutuhan sitasi: Jika pengguna harus menelusuri dasar jawaban, RAG perlu membawa identitas dokumen dan bagian yang diambil sampai ke keluaran. Fine-tuning saja tidak menyediakan jejak dokumen untuk setiap klaim.
• Konsistensi format: Jika contoh keluaran yang benar menunjukkan struktur, nada, atau aturan tugas yang sama, fine-tuning dapat membantu model mempelajari polanya. Manfaat tambahannya tetap perlu dibandingkan dengan instruksi dan contoh dalam prompt.
• Biaya pemeliharaan: RAG memerlukan dokumen yang terkelola, indeks pencarian, kontrol akses, dan proses pengambilan. Fine-tuning memerlukan contoh pelatihan yang baik, evaluasi model hasil pelatihan, serta kemungkinan pelatihan ulang ketika pola tugas berubah.
• Jenis evaluasi: Pada RAG, periksa apakah bagian yang tepat ditemukan dan apakah jawaban setia pada isinya. Pada fine-tuning, periksa kepatuhan terhadap tugas dan format menggunakan kasus yang tidak dipakai untuk melatih model. Gabungan keduanya perlu memenuhi kedua tuntutan itu.

RAG menjaga fakta tetap terhubung ke dokumen

RAG menyiapkan dokumen agar dapat dicari, mengambil bagian yang relevan, lalu memberikannya kepada model sebagai konteks jawaban. Pembaruan dokumen dapat masuk ke alur ini tanpa mengubah bobot model. Namun, jawaban bergantung pada apakah versi dokumen yang benar sudah tersedia dan apakah pencarian menemukan bagian yang menjawab pertanyaan.

Dokumentasi Microsoft Foundry tentang RAG menjelaskan bahwa bagian yang tidak relevan atau tidak lengkap masih dapat menghasilkan jawaban keliru, sementara pengambilan menambah waktu proses dan penggunaan sumber daya. Dokumen juga perlu dibatasi sesuai hak akses pengguna. Sitasi memberi jalur untuk menelusuri jawaban, tetapi keberadaannya saja tidak membuktikan bahwa isi jawaban sesuai dengan bagian yang dirujuk.

Dalam contoh bersyarat, asisten ditanya tentang pengembalian suatu barang yang memiliki pengecualian khusus. Jika pencarian hanya menemukan aturan pengembalian umum, model bisa memberi jawaban lancar tetapi melewatkan pengecualian itu. Mengubah gaya jawaban lewat fine-tuning tidak akan memasukkan bagian dokumen yang gagal ditemukan; masalahnya berada pada cakupan dokumen atau proses pengambilan.

Fine-tuning menargetkan pola tugas

Fine-tuning melatih model dengan contoh masukan dan keluaran yang diinginkan. Pendekatan ini masuk akal ketika organisasi dapat menunjukkan pola tugas yang berulang dan membedakan keluaran yang benar dari yang salah. Contohnya, masukan dengan bentuk bervariasi harus diubah menjadi struktur respons yang seragam, atau konteks yang tersedia harus digunakan menurut aturan yang konsisten.

Dokumentasi fine-tuning Microsoft Foundry menyebut penyelarasan gaya dan struktur serta penggunaan konteks yang diambil sebagai kemungkinan manfaat, sambil menegaskan bahwa peningkatan hasil tidak dijamin dan perlu diuji pada data evaluasi terpisah. Pelatihan dan penyajian model juga menambah biaya. Bila sumber faktanya sering berubah, contoh pelatihan tidak menggantikan akses ke informasi terbaru saat aplikasi menjawab.

Dalam contoh bersyarat lain, asisten mengubah tiket layanan menjadi kategori dan respons dengan format tetap. Contoh pelatihan yang baik dapat membantu pada bagian pengelompokan dan penyusunan respons. Namun, jika respons harus memuat ketentuan layanan yang baru direvisi, ketentuan tersebut tetap perlu diambil dari sumber yang dikelola. Memasukkannya hanya ke data pelatihan membuat setiap revisi berpotensi memerlukan evaluasi dan pelatihan ulang.

Hasilnya dapat berbalik menurut tugas

Pemisahan antara fakta dan perilaku berguna untuk memilih titik awal, tetapi tidak menetapkan pemenang untuk setiap pengujian. Riset Zhuoyi Yang dan rekan membandingkan fine-tuning tanpa supervisi, fine-tuning terawasi, dan RAG pada tiga model terbuka berukuran 7B dengan dua tolok ukur pertanyaan multi-langkah, termasuk pertanyaan dari peristiwa Wikipedia pada 2024; RAG memberi peningkatan yang konsisten terutama untuk informasi baru, sedangkan fine-tuning terawasi mencapai akurasi keseluruhan tertinggi dalam pengujian tersebut.

Pertanyaan multi-langkah menuntut model menggabungkan beberapa bagian pengetahuan, sehingga akses ke fakta dan kemampuan mengolahnya sama-sama memengaruhi jawaban akhir. Hasil studi itu berlaku untuk model, data, dan metode pelatihan yang diuji. Untuk aplikasi organisasi, perbandingan yang relevan harus memakai jenis pertanyaan yang benar-benar akan dijawab, termasuk kasus yang memerlukan beberapa dokumen atau pengecualian aturan.

Kapan keduanya layak digabungkan?

Gabungan layak dipertimbangkan ketika evaluasi menemukan dua kebutuhan yang berbeda. RAG sudah mengambil bagian dokumen yang tepat, tetapi model masih kerap salah menggunakan konteks atau melanggar format yang diwajibkan. Pada saat yang sama, model yang telah mempelajari pola tugas tetap memerlukan fakta yang berubah dan rujukan yang dapat ditelusuri. Pengambilan memasok bukti untuk pertanyaan saat itu; fine-tuning menargetkan cara model memakai bukti dan menyusun jawaban.

Tambahan kemampuan itu membawa tambahan pekerjaan. Kualitas dokumen, indeks, dan akses perlu dijaga, sementara contoh pelatihan dan model hasilnya harus dievaluasi ketika tugas berubah. Jika bagian yang salah terambil, pelatihan model bukan perbaikan langsung bagi pencarian. Jika bagian yang benar sudah tersedia tetapi keluaran terus melanggar aturan tugas, menambah isi indeks juga belum menjawab kegagalannya.

Evaluasi harus memisahkan pencarian dan jawaban

Untuk menentukan pilihan, gunakan pertanyaan yang mewakili kebutuhan aplikasi: dokumen yang baru direvisi, aturan dengan pengecualian, serta jawaban yang harus menggabungkan beberapa bagian. Untuk tiap pertanyaan, tetapkan dokumen yang seharusnya ditemukan, isi jawaban yang dapat diterima, rujukan yang diperlukan, dan format keluarannya. Dengan demikian, jawaban yang tampak benar tetapi bersandar pada dokumen lama dapat dibedakan dari jawaban yang memakai sumber tepat namun salah menafsirkan isinya.

Bandingkan pendekatan yang relevan pada kumpulan kasus yang sama, termasuk model dasar sebagai pembanding ketika fine-tuning dipertimbangkan. Pilih RAG bila kebutuhan utamanya ialah fakta yang dapat diperbarui dan ditelusuri. Pilih fine-tuning bila contoh pelatihan memperbaiki perilaku tugas pada kasus baru. Gabungan keduanya baru memberi nilai ketika pengujian menunjukkan bahwa pencarian bukti dan pola keluaran sama-sama perlu diperbaiki.

Baca juga:

• RAG atau fine-tuning? Data yang berubah membuat pilihannya tidak seimbang
• ChatGPT atau Perplexity untuk riset: kutipan belum menjamin jawaban benar
• WeatherNext 3 masuk Search dan Maps—prakiraan kini diperbarui tiap jam