RAG หรือ Fine-tuning: ข้อมูลเปลี่ยนบ่อยกับพฤติกรรมผิด ต้องแก้คนละจุด

|ผู้เขียน: กองบรรณาธิการ QUASA|2 นาทีในการอ่าน| 1
RAG หรือ Fine-tuning: ข้อมูลเปลี่ยนบ่อยกับพฤติกรรมผิด ต้องแก้คนละจุด

RAG เหมาะกับงานที่ต้องนำข้อมูลล่าสุดหรือเอกสารเฉพาะมาให้โมเดลใช้ขณะตอบ ส่วน fine-tuning เหมาะกับการปรับให้โมเดลทำงานหรือรักษารูปแบบได้สม่ำเสมอ จุดตัดสินใจคือคำตอบผิดเพราะหลักฐานมาไม่ถึง หรือเพราะโมเดลได้รับหลักฐานแล้วแต่ใช้ผิดวิธี แนวทางของ OpenAI แยกข้อผิดพลาดของระบบ RAG ตามสองจุดนี้ และให้ประเมินผลก่อนเพิ่มความซับซ้อนของระบบ

ถ้าข้อมูลเปลี่ยนบ่อย ให้เริ่มจากดูว่าเอกสารฉบับปัจจุบันเข้าสู่ระบบค้นคืนและถูกส่งถึงโมเดลหรือยัง ถ้าเอกสารถูกต้องอยู่ในบริบทแล้ว แต่คำตอบยังละเลยเงื่อนไข ตัดสินใจผิด หรือหลุดรูปแบบ ให้ปรับคำสั่งและตัวอย่างก่อนพิจารณาฝึกโมเดลเพิ่ม การใช้ RAG กับ fine-tuning ร่วมกันมีเหตุผลเมื่อผลประเมินพบปัญหาทั้งด้านหลักฐานและด้านพฤติกรรมจริง

แยกข้อผิดพลาดก่อนเลือกวิธีแก้

คะแนนคำตอบถูกเพียงค่าเดียวบอกไม่ได้ว่าระบบเสียตรงไหน คำตอบที่ผิดเหมือนกันอาจเกิดจากเอกสารไม่มีในคลัง ผลค้นไม่พบข้อความสำคัญ หรือโมเดลอ่านหลักฐานแล้วสรุปผิด ทีมจึงต้องเก็บคำถาม ผลค้น ข้อความที่ส่งให้โมเดล และคำตอบสุดท้ายไว้ในชุดประเมินเดียวกัน เมื่อเห็นลำดับนี้จึงระบุจุดที่ควรแก้ได้

ชุดประเมินควรมาจากคำถามที่งานจริงต้องตอบ และมีคำตอบที่ยอมรับได้พร้อมเอกสารฉบับที่ควรใช้อ้างอิง คำถามควรครอบคลุมทั้งกรณีที่หาคำตอบได้ชัด กรณีที่มีเงื่อนไขยกเว้น และกรณีที่เอกสารยังให้ข้อมูลไม่พอ หากมีเอกสารหลายฉบับที่พูดเรื่องเดียวกัน ให้บันทึกด้วยว่าฉบับใดมีผลกับคำถามนั้น มิฉะนั้นการประเมินอาจนับคำตอบที่อ้างฉบับเก่าว่าถูก

เริ่มตรวจจากต้นทางว่าเอกสารที่อนุมัติให้ใช้ตอบอยู่ในคลังหรือไม่ และข้อความที่นำเข้าครบส่วนที่จำเป็นหรือเปล่า หากต้นฉบับมีข้อยกเว้นอยู่ท้ายหน้า แต่ข้อมูลที่นำเข้าขาดส่วนนั้น การปรับอันดับผลค้นย่อมไม่ช่วย ระบบค้นหาไม่สามารถส่งข้อความที่ไม่เคยได้รับเข้าไปให้โมเดลได้ กรณีนี้ต้องแก้การนำเข้าเอกสารก่อน

ต่อมาดูผลค้นก่อนตัดหรือจัดข้อความเป็นบริบท เอกสารที่ถูกต้องปรากฏหรือไม่ อยู่ในลำดับที่ระบบจะหยิบไปใช้หรือเปล่า และมีฉบับเก่าหรือเนื้อหาที่ไม่เกี่ยวข้องแทรกมากเพียงใด การพบชื่อเอกสารอย่างเดียวไม่พอ หากส่วนที่ตอบคำถามถูกตัดออกจากผลค้น ต้องตรวจการแบ่งข้อความและการเลือกส่วนที่ส่งต่อด้วย

เมื่อผลค้นดูถูกต้อง ให้ดูบริบทจริงที่โมเดลได้รับ เพราะผลค้นกับข้อความในคำขอสุดท้ายอาจไม่เหมือนกัน ระบบอาจจำกัดความยาว ตัดบางส่วนทิ้ง หรือเรียงข้อความใหม่จนเงื่อนไขสำคัญหายไป ถ้าคำตอบต้องอาศัยข้อความที่ไม่อยู่ในบริบทนั้น ความผิดพลาดยังอยู่ก่อนขั้นสร้างคำตอบ การฝึกโมเดลให้ทำตามรูปแบบมากขึ้นจึงไม่แก้สาเหตุ

สุดท้ายจึงตรวจคำตอบเทียบกับหลักฐานที่โมเดลเห็น ให้แยกว่าคำตอบกล่าวสิ่งที่เอกสารไม่รองรับ ละเงื่อนไขที่จำเป็น หรือถูกต้องตามเนื้อหาแต่จัดรูปแบบผิด แต่ละอาการนำไปสู่การแก้ต่างกัน การเพิ่มเอกสารช่วยกรณีขาดหลักฐาน ส่วนการแก้คำสั่งและตัวอย่างช่วยกรณีโมเดลใช้หลักฐานไม่ตรงงาน

กรอบประเมิน RAG ของ Microsoft แยกการวัดคุณภาพการค้นเอกสารออกจากการวัดว่าคำตอบยึดบริบทและตอบคำถามครบหรือไม่ ความแตกต่างนี้มีประโยชน์เมื่อผลค้นมีข้อความที่เกี่ยวข้อง แต่คำตอบยังเพิ่มรายละเอียดเอง หรือเมื่อคำตอบเขียนได้ดีแต่พลาดประเด็นที่ผู้ใช้ถาม การดูคะแนนรวมอย่างเดียวอาจกลบอาการทั้งสองแบบ

การทดลองเปลี่ยนระบบควรใช้คำถามชุดเดิมเพื่อเทียบผลก่อนและหลัง เช่น เปลี่ยนวิธีแบ่งเอกสารแล้วดูว่าคำถามที่เคยหาไม่พบเริ่มพบหรือไม่ จากนั้นดูว่าคำตอบสุดท้ายดีขึ้นตามหรือเปล่า หากผลค้นดีขึ้นแต่คำตอบไม่ดีขึ้น คอขวดอาจย้ายไปอยู่ที่คำสั่งหรือวิธีใช้บริบท การแยกผลแต่ละช่วงช่วยไม่ให้ลงทุนแก้ผิดส่วน

คำถามบางประเภทไม่จำเป็นต้องมีระบบค้นคืนเต็มรูปแบบ หากงานมีเอกสารสั้นที่ผู้ใช้ระบุชัดอยู่แล้ว การส่งเอกสารนั้นเข้าไปกับคำถามอาจตรงกว่า การมีคลังค้นหาเพิ่มขั้นตอนที่ต้องดูแลและเพิ่มโอกาสเลือกข้อความผิด การตัดสินใจจึงควรเริ่มจากรูปแบบข้อมูลและผลประเมิน ไม่ใช่จากชื่อเทคนิค

ข้อมูลใหม่มาไม่ถึง: แก้เอกสารและการค้นคืน

RAG นำข้อความจากแหล่งข้อมูลภายนอกมาใส่เป็นบริบทก่อนให้โมเดลสร้างคำตอบ วิธีนี้เหมาะกับนโยบาย คู่มือ รายละเอียดบริการ และข้อมูลเฉพาะองค์กรที่ต้องแก้ตามฉบับปัจจุบัน เอกสารสามารถเปลี่ยนได้โดยไม่ต้องฝึกโมเดลใหม่ทุกครั้ง แต่คำตอบจะสดเพียงใดยังขึ้นกับเวลานำข้อมูลเข้า การจัดการฉบับ และความแม่นยำของผลค้น

คู่มือเปรียบเทียบของ AWS ระบุว่า RAG รองรับการเพิ่มเอกสารใหม่ได้รวดเร็วและเหมาะกับคำตอบที่อ้างแหล่งข้อมูล ขณะที่ fine-tuning ต้องใช้รอบการฝึกและอาจไม่เหมาะเมื่อเอกสารเปลี่ยนบ่อย ข้อได้เปรียบด้านความสดจึงอยู่ที่การปรับแหล่งข้อมูลที่ระบบค้นได้ ไม่ใช่การรับประกันว่าโมเดลจะเลือกฉบับถูกในทุกคำถาม

สมมติว่าศูนย์บริการเปลี่ยนเงื่อนไขการคืนสินค้า แต่ระบบยังตอบตามเงื่อนไขเดิม ให้ไล่จากต้นฉบับก่อน หากเอกสารใหม่ยังไม่เข้าสู่คลัง ปัญหาคือการนำเข้าและการเผยแพร่ข้อมูล หากเอกสารเข้าแล้วแต่ผลค้นคืนเฉพาะฉบับเก่า ปัญหาอาจอยู่ที่การจัดการฉบับหรือการค้นหา หากผลค้นมีฉบับใหม่แต่ส่งให้โมเดลเพียงข้อความที่ขาดข้อยกเว้น ต้องแก้การเลือกเนื้อหา

ชื่อเอกสาร วันที่มีผล และสถานะของฉบับมีความหมายต่อคำตอบที่อิงนโยบาย สมมติว่าเอกสารใหม่เผยแพร่แล้วแต่ยังไม่ถึงวันเริ่มใช้ คำถามเกี่ยวกับรายการที่เกิดก่อนและหลังวันนั้นอาจต้องอ้างคนละฉบับ หากระบบเก็บเพียงข้อความโดยไม่รักษาข้อมูลกำกับที่จำเป็น ผลค้นอาจเจอเนื้อหาตรงคำถามแต่ผิดช่วงเวลา การใส่ข้อมูลมากขึ้นโดยไม่จัดความสัมพันธ์ของฉบับอาจทำให้คำตอบสับสนกว่าเดิม

อีกอาการหนึ่งคือค้นพบเอกสารที่ใช่ แต่ส่วนที่มีคำตอบถูกแบ่งแยกจากเงื่อนไขที่ต้องอ่านคู่กัน ตัวอย่างแบบสมมติคือข้อความเรื่องสิทธิคืนสินค้าอยู่ส่วนหนึ่ง ส่วนข้อยกเว้นของสินค้าบางประเภทอยู่ถัดไป หากส่งเฉพาะส่วนแรก โมเดลอาจตอบอย่างมั่นใจแต่ไม่ครบ การปรับขนาดและขอบเขตของข้อความที่ค้นคืนจึงเกี่ยวกับความถูกต้อง ไม่ใช่เพียงความเร็วค้นหา

ผลค้นที่กว้างเกินไปก็สร้างปัญหาได้ ข้อความคล้ายกันจากหลายบริการ หลายพื้นที่ หรือหลายฉบับอาจเบียดส่วนที่ตรงคำถามออกไป โมเดลจึงต้องเลือกท่ามกลางเงื่อนไขที่ขัดกันโดยไม่มีลำดับอำนาจชัดเจน การลดข้อมูลรบกวนและระบุขอบเขตของคำถามอาจให้ผลดีกว่าการเพิ่มจำนวนผลค้นอย่างเดียว

หากคำถามมีคำเรียกที่ลูกค้าใช้ต่างจากถ้อยคำในคู่มือ ผลค้นอาจพลาดทั้งที่เอกสารมีคำตอบอยู่แล้ว ตัวอย่างแบบสมมติคือผู้ใช้เรียกการยกเลิกบริการด้วยภาษาพูด แต่เอกสารใช้ชื่อขั้นตอนทางการ กรณีนี้ควรตรวจว่าระบบค้นเชื่อมคำเรียกทั้งสองได้หรือไม่ การฝึกโมเดลสร้างคำตอบให้สุภาพขึ้นไม่ได้ทำให้เอกสารที่ค้นไม่เจอปรากฏในบริบท

การอ้างเอกสารมีประโยชน์เมื่อผู้อ่านต้องตรวจเหตุผลของคำตอบ แต่การแสดงชื่อเอกสารเพียงอย่างเดียวไม่ยืนยันว่าข้อความในคำตอบตรงกับเอกสารนั้น ระบบควรเก็บความเชื่อมโยงระหว่างคำตอบกับส่วนที่ใช้ตอบ โดยเฉพาะเมื่อมีเงื่อนไขหลายข้อ การประเมินจึงต้องดูทั้งการพบเอกสารและความสอดคล้องของคำตอบ ไม่ใช่นับจำนวนลิงก์อ้างอิง

เมื่อแก้คลังหรืออันดับผลค้นแล้ว ต้องระวังคำถามที่เคยตอบถูกด้วย การดันฉบับใหม่ขึ้นมาอาจเหมาะกับคำถามปัจจุบัน แต่ทำให้คำถามเกี่ยวกับเหตุการณ์ในอดีตได้ฉบับผิด การเปลี่ยนวิธีแบ่งข้อความอาจช่วยคำถามหนึ่งและทำให้ข้อยกเว้นของอีกเรื่องหลุดจากบริบท ชุดประเมินจึงควรมีทั้งคำถามปัจจุบันและคำถามที่ต้องแยกฉบับตามเงื่อนไข

ได้หลักฐานถูกแล้วแต่ยังทำงานผิด: ตรวจพฤติกรรมโมเดล

หากข้อความที่จำเป็นอยู่ครบในบริบท แต่โมเดลยังตัดสินใจผิด ละข้อยกเว้น หรือส่งผลลัพธ์ผิดรูปแบบ จุดแก้อยู่ที่วิธีให้โมเดลทำงานกับข้อมูลนั้น เริ่มจากทำคำสั่งให้ระบุเป้าหมาย ขอบเขต และลำดับการตัดสินใจชัดเจน แล้วใช้ตัวอย่างที่แสดงผลลัพธ์ตามต้องการ การเพิ่มเอกสารเข้าไปอีกอาจเพิ่มสิ่งรบกวนโดยไม่เปลี่ยนพฤติกรรมที่ทำให้ตอบผิด

สมมติว่าข้อความเงื่อนไขคืนสินค้าอยู่ตรงหน้าโมเดลครบ แต่คำตอบยังอนุมัติกรณีที่เอกสารยกเว้นไว้ ปัญหาอาจเป็นการละขั้นตรวจข้อยกเว้นก่อนสรุปผล คำสั่งที่ระบุให้ตรวจสิทธิหลักและข้อยกเว้นตามลำดับอาจแก้ได้ หากข้อผิดพลาดยังเกิดซ้ำกับคำถามหลายแบบ จึงค่อยพิจารณาว่าต้องใช้ตัวอย่างฝึกเพื่อทำให้ขั้นตอนนั้นสม่ำเสมอขึ้น

ความถูกต้องของเนื้อหากับความถูกต้องของรูปแบบต้องวัดแยกกัน คำตอบอาจอ้างเงื่อนไขถูกทุกข้อ แต่จัดช่องข้อมูลผิดจนระบบปลายทางอ่านไม่ได้ อีกด้านหนึ่ง ผลลัพธ์อาจอยู่ในรูปแบบสมบูรณ์แต่ใส่ค่าที่เอกสารไม่รองรับ การรวมสองอาการเป็นคะแนนเดียวทำให้ไม่รู้ว่าควรแก้คำสั่งเรื่องโครงสร้าง หรือกลับไปแก้การตีความหลักฐาน

การกำหนดรูปแบบควรครอบคลุมกรณีที่ไม่มีข้อมูลด้วย หากเอกสารไม่มีคำตอบสำหรับช่องหนึ่ง โมเดลต้องรู้ว่าจะเว้นช่อง ระบุว่าไม่พบข้อมูล หรือส่งต่อให้ผู้ตรวจตามกติกาของงาน ตัวอย่างที่มีแต่กรณีตอบได้ครบอาจทำให้โมเดลเติมข้อมูลที่ไม่มีในหลักฐาน การประเมินจึงควรใส่กรณีข้อมูลขาดเพื่อดูว่าระบบรักษาขอบเขตคำตอบได้หรือไม่

Fine-tuning ใช้ตัวอย่างงานเพื่อปรับรูปแบบการตอบหรือการทำงานของโมเดล จึงมีเหตุผลเมื่อคำสั่งและตัวอย่างในคำขอแก้ปัญหาได้ไม่สม่ำเสมอ แต่ต้องเตรียมข้อมูลฝึกให้แทนงานจริง ตัวอย่างที่สะอาดเกินไปหรือมีโครงสร้างต่างจากคำถามที่ระบบจะรับ อาจทำให้ผลประเมินระหว่างพัฒนาดีแต่ใช้งานจริงไม่ดีตาม ความหลากหลายของกรณีจึงสำคัญพอ ๆ กับความถูกต้องของคำตอบตัวอย่าง

ถ้าระบบจะใช้ RAG ร่วมกับโมเดลที่ฝึกเพิ่ม ตัวอย่างฝึกควรมีลักษณะบริบทคล้ายกับที่ระบบค้นคืนจริง โมเดลต้องเรียนรู้ว่าจะใช้ข้อความที่แนบมาอย่างไร รวมถึงเมื่อข้อความมีส่วนที่ไม่เกี่ยวข้อง หากฝึกด้วยคำถามสั้นและคำตอบที่จัดเรียบร้อยเท่านั้น แต่ใช้งานจริงกับข้อความค้นคืนหลายส่วน ผลฝึกอาจไม่สะท้อนงานที่ต้องทำ

ต้องแยกข้อมูลฝึกออกจากชุดคำถามที่ใช้ตัดสินผลหลังฝึก มิฉะนั้นระบบอาจดูดีเพราะเคยเห็นตัวอย่างเดิมแล้ว แต่ยังพลาดเมื่อพบคำถามใหม่ ชุดประเมินควรมีทั้งกรณีทั่วไปและกรณีขอบที่สำคัญต่อธุรกิจ การวัดหลังฝึกต้องดูความถูกต้องของการตัดสินใจ รูปแบบผลลัพธ์ และการยึดหลักฐานเมื่อมีบริบทแนบมา

Fine-tuning ไม่ทำให้ข้อเท็จจริงที่เปลี่ยนหลังฝึกกลายเป็นข้อมูลปัจจุบันโดยอัตโนมัติ หากงานต้องตอบตามนโยบายฉบับล่าสุด โมเดลที่ปรับพฤติกรรมแล้วก็ยังต้องได้รับเอกสารที่เกี่ยวข้องขณะตอบ การใช้ตัวอย่างฝึกเพื่อให้จำเงื่อนไขที่เปลี่ยนบ่อยทำให้การแก้ข้อมูลผูกกับรอบฝึกและรอบประเมินใหม่ ซึ่งเป็นภาระคนละแบบกับการแก้เอกสารในคลัง

แม้ปัญหาจะดูเป็นเรื่องพฤติกรรม ก็ไม่จำเป็นต้องฝึกทันที บางงานแก้ได้ด้วยคำสั่งที่ระบุผลลัพธ์ให้ชัด บางงานต้องเพิ่มตัวอย่างกรณีขอบในคำขอ และบางงานควรให้ระบบภายนอกตรวจรูปแบบก่อนรับคำตอบ การเลือกวิธีขึ้นกับผลประเมินว่าข้อผิดพลาดเกิดซ้ำแบบใด และวิธีที่ง่ายกว่าลดข้อผิดพลาดได้เพียงพอหรือยัง

ต้นทุน ความสด เวลาแก้ และความเสี่ยงต่างกันอย่างไร

การเทียบราคาเฉพาะค่าฝึกหรือค่าค้นหาให้ภาพไม่ครบ RAG มีภาระจัดเอกสาร สร้างหรือปรับดัชนี ค้นข้อความ และส่งบริบทในแต่ละคำถาม Fine-tuning มีภาระคัดตัวอย่าง ตรวจคำตอบ ฝึก และประเมินโมเดลหลังเปลี่ยน ขนาดเอกสาร ปริมาณคำถาม และความถี่ของการแก้ข้อมูลเป็นตัวกำหนดว่าภาระส่วนใดมีน้ำหนักมากกว่า

  • ความสดของข้อมูล: RAG ใช้เอกสารที่ระบบนำเข้าและค้นได้ จึงเหมาะเมื่อข้อเท็จจริงต้องเปลี่ยนตามต้นฉบับ ส่วนความรู้ที่หวังให้ติดอยู่ในโมเดลผ่าน fine-tuning ต้องมีการปรับและประเมินรอบใหม่เมื่อข้อมูลนั้นเปลี่ยน
  • ต้นทุนขณะตอบ: RAG เพิ่มขั้นค้นและข้อความบริบทที่ส่งให้โมเดล ซึ่งอาจเพิ่มเวลาและปริมาณข้อมูลต่อคำขอ ส่วน fine-tuning อาจลดความจำเป็นในการส่งตัวอย่างวิธีตอบซ้ำ แต่มีต้นทุนเตรียมข้อมูลและฝึกก่อนใช้งาน
  • เวลาแก้ข้อผิดพลาด: เอกสารผิดฉบับอาจแก้ได้ที่ต้นทางหรือกติกาค้นคืนแล้วทดสอบซ้ำ พฤติกรรมที่ต้องแก้ด้วยการฝึกต้องผ่านการปรับชุดตัวอย่าง ฝึก และตรวจผลใหม่ ระยะเวลาจริงขึ้นกับระบบและวิธีทำงานของแต่ละทีม
  • ความเสี่ยงถอยหลัง: การเปลี่ยนผลค้นอาจทำให้บางคำถามได้เอกสารคนละฉบับ การปรับโมเดลอาจเปลี่ยนวิธีตอบงานที่เคยทำได้ดี ทั้งสองทางต้องทดสอบคำถามเดิมและกรณีขอบหลังเปลี่ยน

ระบบที่เอกสารเปลี่ยนบ่อยอาจต้องลงทุนกับการควบคุมฉบับ การนำเข้าข้อมูล และการค้นที่ระบุขอบเขต แม้คำสั่งให้โมเดลตอบจะเรียบง่าย หากละส่วนนี้ การแก้ข้อความต้นฉบับก็ยังไม่ส่งผลต่อคำตอบ ในทางกลับกัน งานที่ใช้ข้อมูลค่อนข้างคงที่แต่ต้องผลิตผลลัพธ์โครงสร้างเดียวกันซ้ำ ๆ อาจมีภาระหลักอยู่ที่ตัวอย่างและการประเมินพฤติกรรม

ความสดควรวัดจากเส้นทางของข้อมูล ไม่ใช่จากเวลาที่ผู้แก้เอกสารกดเผยแพร่ เอกสารอาจเผยแพร่แล้วแต่ยังไม่ถูกนำเข้า หรือถูกนำเข้าแล้วแต่ผลค้นยังเลือกฉบับก่อนหน้า สำหรับงานที่ต้องตอบตามเงื่อนไขล่าสุด ความล่าช้าของแต่ละช่วงมีผลต่อคำตอบเหมือนกัน การวัดจึงควรดูตั้งแต่ต้นฉบับจนถึงบริบทที่โมเดลได้รับ

เวลาแก้ปัญหาก็ขึ้นกับจุดที่ผิด หากคำตอบผิดเพราะข้อความต้นทางกำกวม ทีมอาจต้องแก้เอกสารก่อนแตะระบบ AI หากเอกสารถูกแต่ผลค้นผิด ต้องแก้การค้น หากทั้งเอกสารและบริบทถูกต้องแล้วจึงตรวจคำสั่งหรือตัวอย่าง การแยกลำดับนี้ช่วยไม่ให้ใช้งบฝึกโมเดลเพื่อชดเชยความบกพร่องของข้อมูลต้นทาง

ต้นทุนของ RAG ไม่ได้เพิ่มตามจำนวนเอกสารอย่างเดียว คำถามที่ต้องค้นหลายแหล่งหรือส่งข้อความยาวอาจใช้ทรัพยากรมากกว่าคำถามที่มีหลักฐานสั้นชัดเจน การย่อบริบทเพื่อลดต้นทุนต้องระวังไม่ให้ตัดข้อยกเว้นสำคัญออก การประเมินคุณภาพควรเดินคู่กับการวัดเวลาและปริมาณข้อมูลต่อคำขอ

ต้นทุนของ fine-tuning ก็ไม่จบเมื่อฝึกเสร็จ ตัวอย่างใหม่ต้องผ่านการตรวจว่าเป็นคำตอบที่ต้องการจริง และหลังปรับโมเดลต้องทดสอบงานที่เคยผ่านด้วย หากข้อมูลฝึกมีข้อผิดพลาดหรือสะท้อนเพียงคำถามบางกลุ่ม โมเดลอาจทำตามรูปแบบนั้นอย่างสม่ำเสมอโดยยังตัดสินใจผิด ความสม่ำเสมอจึงต้องวัดคู่กับความถูกต้อง

ความเสี่ยงถอยหลังของสองวิธีมีหน้าตาต่างกัน การปรับอันดับค้นอาจแก้เรื่องเอกสารใหม่ แต่ทำให้เรื่องที่ต้องอ้างเอกสารเก่าหาไม่พบ การฝึกโมเดลอาจทำให้คำตอบตรงรูปแบบขึ้น แต่เปลี่ยนวิธีจัดการกรณีข้อมูลไม่ครบ การเก็บคำถามที่เคยตอบถูกไว้ในชุดประเมินช่วยเห็นผลข้างเคียงก่อนนำการเปลี่ยนแปลงไปใช้กว้างขึ้น

เมื่อไรควรใช้ RAG และ fine-tuning ร่วมกัน

การใช้ร่วมกันเหมาะเมื่อระบบมีความต้องการสองด้านที่แยกกันได้ ด้านหนึ่งต้องรับข้อเท็จจริงจากเอกสารที่เปลี่ยน อีกด้านต้องทำงานกับข้อเท็จจริงนั้นตามกติกาเดิมอย่างสม่ำเสมอ RAG รับหน้าที่นำหลักฐานที่เกี่ยวข้องมาให้ ส่วนการปรับพฤติกรรมช่วยให้โมเดลตีความและจัดผลลัพธ์ตามงาน ทั้งสองส่วนยังต้องประเมินแยกกัน

ตัวอย่างแบบสมมติคือระบบตอบคำถามเงื่อนไขบริการจากเอกสารฉบับที่มีผล แล้วส่งผลเป็นช่องข้อมูลให้เจ้าหน้าที่ตรวจ หากระบบตอบตามเงื่อนไขเก่า ต้องตรวจเอกสารและการค้นคืน หากอ้างฉบับถูกแต่ใส่ผลการตัดสินใจผิดช่อง ต้องตรวจคำสั่งและพฤติกรรมโมเดล หากพบทั้งสองอาการ การแก้เพียงส่วนเดียวจะเหลือข้อผิดพลาดอีกส่วนไว้

ลำดับลงทุนจึงเริ่มจากคำถามและหลักฐานที่ใช้วัดผล แก้เอกสารหรือผลค้นเมื่อบริบทไม่ครบ ปรับคำสั่งและตัวอย่างเมื่อบริบทครบแต่คำตอบยังผิด แล้วพิจารณา fine-tuning เมื่อข้อผิดพลาดด้านพฤติกรรมเกิดซ้ำและวิธีพื้นฐานยังไม่พอ หลังเปลี่ยนแต่ละจุด ให้ดูทั้งผลค้น คำตอบ และงานที่เคยผ่าน เพื่อให้การแก้ตรงอาการโดยไม่สร้างปัญหาใหม่

อ่านเพิ่มเติม:

แชร์:

บทความที่เกี่ยวข้อง

สมัครรับจดหมายข่าวของเรา

รับข่าวสารล่าสุดเกี่ยวกับ Web3, AI และคริปโตส่งตรงถึงกล่องจดหมายของคุณ

0