RAG эсвэл fine-tuning: шинэ баримтыг загварт цээжлүүлэх шаардлагагүй

Байнга шинэчлэгддэг байгууллагын баримтаас эх сурвалжтай хариулахад RAG-аас эхэл; AWS-ийн харьцуулсан зөвлөмж ийм асуулт, хариултад хайлтад тулгуурласан аргыг эхний сонголт гэж үздэг. Шинэ журам гармагц түүнийг сургалтын жишээнд шингээх шаардлагагүй, харин хариунд ашиглах баримтын санг шинэчлэх хэрэгтэй.

Хариултын хэлбэр, өнгө аяс эсвэл давтагддаг даалгаврыг тогтвортой гүйцэтгүүлэхэд fine-tuning-ийг авч үзнэ. Эх сурвалжтай, шинэ мэдээлэл болон нэгэн жигд гаралт хоёулаа шаардлагатай бол RAG-аар баримтаа олж, гаралтыг үүсгэх загвараа тусад нь тохируулж болно. Сонголтыг баримтын хэмжээ, шинэчлэл, эшлэлийн хэрэгцээ, багийн чадвар, туршилтын өртгөөр гаргана.

Шинэ баримт хариултад яаж ордог вэ

RAG асуулт ирэх үед холбогдох мэдээллийг хайж, олсон хэсгийг загварт өгөх оролтод нэмдэг. AWS-ийн RAG бүтцийн тайлбар баримтыг цэвэрлэж хэсэглэх, индексжүүлэх, асуултад тохирох хэсгийг эрэмбэлж авах, хандалтын эрхийг удирдах ажлыг тус тусад нь нэрлэдэг. Иймээс баримтыг шинэчлэх нь загварыг дахин сургахаас тусдаа үйл явц боловч шинэ хувилбар индексэд ороогүй бол хариулт хуучин мэдээлэлд тулгуурлаж болзошгүй.

Эх сурвалжийн холбоос гарч ирсэн нь зөв баримт ашигласны баталгаа биш. Журмын хуучин ба шинэ хувилбар давхар үлдэх, хавсралтын хүснэгт буруу задрах, нэг ойлголтыг өөр нэрээр хайх үед систем хамаагүй хэсэг сонгож болно. Монгол хэлээр хайлт хийх системд ижил нэр томьёоны бичлэг, товчлол, нөхцөлөөр хувирсан хэлбэрийг төлөөлөх бодит асуултууд шаардлагатай. Алдаа баримт олохоос эхэлсэн бол хариуны өнгө аясыг сургах нь түүнийг засахгүй.

Хайлтаар хэсэг авч хариулахад өөр нэг зааг бий: бүхэл тайлангийн гол санааг нэгтгэхэд тус тусдаа олдсон хэсгүүд хоорондын холбоо дутуу байж болно. Бүтэн баримтыг нэг удаа оролтод багтаах боломж, хэсэг тус бүрийн хураангуйг шатлан нэгтгэх арга, эсвэл тухайн даалгаварт тохируулсан загварыг энэ хэрэгцээнд харьцуулж үзэх нь зөв. Иймээс бүхэл баримтыг нэгтгэх болон шинэ баримтаас тодорхой асуултад хариулах ажлыг тусад нь үнэлнэ.

Fine-tuning-д юуг даатгах вэ

Fine-tuning нь жишээ оролт, хүссэн гаралтаар загварын хариулах аргыг өөрчилдөг. Нэг төрлийн хүсэлтийг тогтмол бүтэцтэй ангилах, байгууллагын өнгө аясыг барих, тодорхой форматаар хариулах зэрэгт хэрэгтэй байж болно. Жишээнүүд хоорондоо зөрчилтэй, эсвэл хүссэн дүрэм ойр ойрхон солигддог бол сургалтын үр дүнг тогтвортой хадгалахад хэцүү.

Гэхдээ хэв маяг тогтвортой байлаа гээд заавал сургах шаардлагагүй. Энгийн заавар, хэдэн сайн жишээ хангалттай ажиллаж байвал өгөгдөл бэлтгэх, сургалт явуулах, шинэ загварыг үнэлэх өртөг нэмэх ашиг бага. Харин зөв баримт өгсөн ч гаралтын хэлбэр олон төрлийн хүсэлт дээр давтан алдагдвал fine-tuning-ийн туршилт үндэслэлтэй болно. Баримтын үнэн зөв байдал болон бичих хэв маягийг ижил үзүүлэлтээр хэмжихгүй байх нь энд чухал.

Шинэ бүтээгдэхүүний нөхцөлийг сургалтын багцад оруулсан загвар дараагийн өөрчлөлтийг өөрөө мэдэхгүй. Сургалт нь баримтын аль хувилбараас хариулснаа автоматаар заах механизм ч биш. Иймээс өөрчлөгддөг фактыг зөвхөн загварын жинд хадгалах сонголт шинэчлэл бүрийн дараа дахин сургалт, үнэлгээ шаардаж болзошгүй. Харин бүтэн баримт нэгтгэх зэрэг хайлтаар авсан хэсэг хангалтгүй даалгаварт fine-tuning-ийг тусад нь турших шалтгаан бий.

Ховор мэдлэгт энгийн дүрэм яагаад хүрэлцэхгүй вэ

Ховор нэр томьёо эсвэл цөөн дурдагддаг баримт дээр асуудал зөвхөн загварт мэдлэг байгаа эсэхээс хамаарахгүй. Хайлтаар зөв хэсгийг олсон уу, загвар түүнийг асуулттай зөв холбосон уу гэдэг нь тусдаа шалгуур. Ховор мэдлэгийн судалгаанд бага давтамжтай фактын асуулт, хариултад RAG нь харьцуулсан fine-tuning аргуудаас, ялангуяа хамгийн ховор баримтууд дээр, илүү үр дүн үзүүлсэн; сайжруулсан Stimulus RAG хувилбар нь мөн тэдгээр сургалтад суурилсан аргуудаас давсан.

Туршилтын дүн нь байгууллага бүрийн мэдээлэлд ижил давуу тал гарна гэсэн амлалт биш. Харин ховор фактыг загварт цээжлүүлэхийн тулд синтетик жишээ олшруулж сургахаас өмнө баримт хайх болон олсон хэсгийг ашиглах аргыг шалгах шалтгаан болно. Ялангуяа нэр, код, жижиг өөрчлөлт зэрэг нэг буруу тэмдэгтээс утга нь солигдох мэдээлэлд эх баримтын хувилбарыг хариутай холбох боломж үнэ цэнтэй.

Хосолсон арга хэзээ үндэслэлтэй вэ

Баримт байнга солигддог хэрнээ гаралт нэгэн хэвийн байх ёстой бол хоёр аргын үүргийг салгаж болно. RAG хүчинтэй эх сурвалжийг олж өгнө; тохируулсан загвар түүнд тулгуурлан тогтсон бүтэцтэй хариулт үүсгэнэ. Гэвч хоёр бүрэлдэхүүнтэй системд алдааны шалтгаан хайлтад байна уу, хариу үүсгэхэд байна уу гэдгийг тусад нь үнэлэх шаардлагатай.

Microsoft Research-ийн хөдөө аж ахуйн өгөгдлийн туршилтад загварыг fine-tuning хийхэд нарийвчлал зургаагаас дээш процентын пунктээр өсөж, тэр тохируулсан загварт RAG нэмэхэд дахин таван пунктээр өссөн. Энэ нь тухайн өгөгдөл, загвар, үнэлгээний аргын нийлбэр үр дүн; ганц RAG эсвэл ганц сургалтад бүх өсөлтийг хамааруулах үндэслэл биш. Өөр байгууллагын өгөгдөл дээр ийм нэмэлт ашиг гарах эсэхийг бодит асуултаар хэмжинэ.

Таван шалгуураар сонголтоо оноолох нь

Энэ шийдвэрийн модны оноо нь судалгаагаар батлагдсан гүйцэтгэлийн хэмжүүр биш. Нөхцөл биелэх бүрт тухайн аргад нэг оноо өг; нэг шалгуур хоёр аргад хоёуланд нь оноо өгч болно. Оноо нь аль хувилбарыг эхэлж туршихыг эрэмбэлнэ, хариуны чанарыг урьдчилан тогтоохгүй.

1. Шинэчлэлийн давтамж. Хариултын суурь баримт ойр ойрхон солигддог бол RAG-д нэг оноо. Харин хэрэглэгчийн хүсдэг бүтэц, ангилал эсвэл өнгө аяс удаан тогтвортой бол fine-tuning-д нэг оноо. Байгууллагын журам шинэчлэгддэг ч хариуны маягт хэвээр байвал хоёр тал оноо авна.
2. Эх сурвалжийн шаардлага. Хэрэглэгч хариуны аль баримтад тулгуурласныг харах ёстой бол RAG-д нэг оноо. Эшлэл шаардахгүй байх нь fine-tuning-д автоматаар оноо нэмэхгүй, зөвхөн түүнийг сонгох нэг саадыг арилгана.
3. Хэв маягийн давталт. Чанартай олон жишээнээс ижил гаралтын дүрэм харагдаж, заавар түүнийг найдвартай барьж чадахгүй бол fine-tuning-д нэг оноо. Асуулт бүр өөр факт шаардаж байгаа нь өөрөө сургалтын хэрэгцээ биш.
4. Инженерийн чадвар. Баримт задлах, индекс шинэчлэх, эрх тохируулах, хайлтыг үнэлэх багтай бол RAG-д нэг оноо. Сургалтын өгөгдлийг цэвэрлэж, загварын хувилбар бүрийг үнэлэх чадвартай бол fine-tuning-д нэг оноо. Удирдлагатай үйлчилгээ ашиглах нь зарим ажлыг хөнгөвчилнө, гэхдээ өгөгдлийн чанарыг орлохгүй.
5. Туршилтын зардал. Баримт бэлэн, тэмдэглэсэн сургалтын жишээ ховор бол RAG-д нэг оноо. Сайн жишээ аль хэдийн бэлэн, сургалт ба дахин үнэлгээний зардлыг даах боломжтой бол fine-tuning-д нэг оноо. Аль алиных нь ашиглалтын зардлыг тусад нь тооцно.

RAG илүү оноотой бол эхлээд хайлттай хувилбарыг, fine-tuning илүү оноотой бол жижиг сургалтын туршилтыг харьцуулалтын суурь болго. Хоёулаа өндөр оноотой бол хосолсон хувилбарыг оруул; оноо тэнцэж, эшлэл эсвэл шинэчлэл зайлшгүй бол хайлтыг түрүүлж ажиллуул. Энэ оноололд бүтэн баримт нэгтгэх даалгавар давамгайлбал хэсэгчилсэн хайлтын хязгаарыг тусгайлан үнэлэх ёстой.

Оноо бодит хариултаар батлагдах ёстой

Нэг ижил бодит асуултын багцаар энгийн загвар, RAG, fine-tuning, шаардлагатай бол хосолсон хувилбарыг харьцуул. Асуултад шинэчлэгдсэн баримт, ховор факт, бүтэн баримтын утга нэгтгэх даалгавар, тогтмол формат шаардсан хүсэлтийг хамруулна. Зөв хариулсан эсэхийн зэрэгцээ эшлэл хүчинтэй хувилбар руу заасан уу, хариулах хугацаа ба шинэчлэн засах ажил хэд вэ гэдгийг тэмдэглэ.

Зөв баримт олдоогүй бол хайлтын хэсгийг, зөв баримт олдсон ч хариулт алдаатай бол заавар эсвэл загварын ажиллагааг сайжруулах шаардлага гарна. Факт зөв боловч гаралтын хэлбэр байнга алдагдаж байвал сургалтын нэмэлт үнэ цэнийг хэмжих боломжтой. Ингэж алдааг салгаж үзвэл эх сурвалжийг шинэчлэх, загварыг тохируулах, хоёуланг нь хийх гурван сонголтын зардал болон өгөөжийг нэг даалгавар дээр харьцуулж чадна.