RAG оноог нэгтгэж бүү нуу: хайлт ба хариултын алдааг салга

RAG системийн чанарыг шалгахдаа асуултад хэрэгтэй баримт үүсгэгчид дамжсан эсэхийг эхэлж хэмж. Дараа нь хариултын мэдэгдлүүд дамжсан баримтаар дэмжигдэж байгаа эсэх, асуултын бүх чухал хэсэгт хариулсан эсэхийг тус тусад нь үнэл. Эдгээр үр дүнг нэг дундаж оноонд нуувал дутуу хариултын шалтгаан хайлт уу, үүсгэгч үү гэдэг нь харагдахгүй.

DeepEval-ийн RAGAS тайлбар хариултын хамаарал, баримтад үнэнч байдал, хайлтын нарийвчлал, хамрах хүрээний хэмжүүрийг дундажлахаас гадна тус бүрийг ажиллуулах боломжтойг заадаг. Нийлмэл оноо хувилбаруудыг ерөнхийд нь харьцуулахад хэрэг болж болох ч алдааны шатыг тогтооход хэмжүүр бүрийн дүн, тухайн асуултын эх хэсэг, хариулт хамт хэрэгтэй.

Монгол асуултаар жишиг багц байгуул

Эхний туршилтад хэрэглэгчдийн тавьдаг 20–30 бодит монгол асуулт сонгохыг зөвлөе. Шууд баримт асуусан, хэд хэдэн баримт нэгтгэх шаардлагатай, нөхцөлтэй болон санд хариулт нь байхгүй асуултыг хамруул. Ингэвэл нэг төрлийн амархан асуултаас авсан дүнг бүх хэрэглээнд хамааруулж дүгнэх эрсдэл багасна.

Асуулт бүрт хариултад зайлшгүй орох баримтууд болон тэдгээрийг агуулсан эхийн хэсгийг тэмдэглэ. Хариултгүй асуултын хувьд сангаас юу тогтоох боломжгүйг, зөв хариулт ямар байдлаар мэдээлэл дутууг илэрхийлэхийг урьдчилан бич. Нэг баримт олон хэсэгт давтагдвал тэдгээрийг нэг шаардлага гэж тооцох эсэхээ багц байгуулахдаа шийд; үгүй бол хайлтын хамрах хүрээ хуурамчаар өснө.

Хэрэглээний RAG хэмжүүрийн судалгаа жишиг хариулт, түүнийг дэмжих эх хэсэгтэй 96 асуултаар хайлтаас ирсэн хэсэг болон үүссэн хариултыг тусад нь үнэлсэн. Тэнд зарим асуулт хариултгүй байсан бөгөөд хайлтын үнэлгээнд зөв баримттай нэг баримт бичиг ирсэн эсэхээс илүү, хэрэгтэй хэсэг өөрөө ирсэн эсэхийг харгалзсан. Монгол багцад ч баримтын сангийн хувилбар, хэсэглэх арга, асуултын бичвэрийг хадгалбал дараагийн туршилтыг ижил нөхцөлд харьцуулж чадна.

Хайлт хэрэгтэй хэсгийг дамжуулсан уу?

Хайлтын үндсэн бүртгэлд recall@k буюу үүсгэгчид өгсөн эхний k хэсэгт шаардлагатай баримтуудын хэд нь орсныг ав. Тоолох нэгжээ тогтвортой байлга: баримтаар тооцож эхэлсэн бол дараагийн асуулт, хувилбарт мөн баримтаар тооц. Жишээ нь, нөхцөлт асуултад хэрэгтэй хоёр баримтын нэг нь л дамжсан бол тухайн асуултын баримтын хамрах хүрээ тал болно.

Баримтын бичиг бүхэлдээ олдсон ч хариулах өгүүлбэр өөр хэсэгт үлдсэн байж болно. Тиймээс зөвхөн файлын нэр эсвэл хэсгийн таних дугаар таарсныг бус, дамжуулсан хэсэгт хэрэгтэй агуулга үнэхээр байгаа эсэхийг шалга. Нэр томьёоны өөр бичлэг, үгийн хувилбар, ойролцоо утгатай өгүүлбэрийг хүн утгаар нь тааруулах шаардлагатай байж болно.

Хамрах хүрээний хажууд хэрэгтэй хэсэг хэддүгээрт эрэмбэлэгдсэнийг, эхний k хэсгийн хэд нь асуултад хамаарахыг тэмдэглэ. Зөв баримт хайлтад гарсан атлаа дамжуулах хязгаараас гадуур хоцорвол үүсгэгч түүнийг ашиглах боломжгүй. Хариултгүй асуултад жишиг баримт байхгүй тул recall@k-г тэг гэж хүчээр оноохын оронд хамааралгүй хэсгийг үндэслэл мэт дамжуулсан эсэхийг тусад нь бүртгэ.

Хариултын үнэнч байдал ба бүрэн байдлыг салга

Хариултын баримтлаг мэдэгдэл бүрийг үүсгэгчид бодитоор дамжуулсан хэсэгтэй тулга. Тэдгээрээс дэмжлэггүй мэдэгдэл гарвал баримтад үнэнч байдал алдагдсан гэж тэмдэглэ. Мэдэгдэл өөр газраас мэдэхэд үнэн байсан ч тухайн хариултад ашигласан эх хэсэгт байхгүй бол баримтаар баталгаажсан хариулт гэж үзэхгүй.

DeepEval-ийн RAG үнэлгээний заавар хариулттай нь хамт хайлтаас ирсэн хэсгийг хадгалж, хайгч болон үүсгэгчийг тусад нь үнэлэхийг тайлбарладаг. Энэ ялгааг хадгалахын тулд хариултыг бүх эх санд байгаа мэдээлэлтэй шууд тулгахаас өмнө үүсгэгч яг юу харсныг тэмдэглэх хэрэгтэй. Хайлтад ирээгүй баримтыг ашиглаагүйд нь үүсгэгчийг буруутгаж болохгүй.

Бүрэн байдал нь өөр шалгуур: жишиг хариултад зайлшгүй орох баримтуудаас хэдийг өгснийг тоол. Нэг өгүүлбэр бүхэлдээ эхэд тулгуурласан ч асуултын хоёр дахь нөхцөлийг орхивол үнэнч боловч дутуу хариулт болно. Харин бүх нөхцөлийг дурдсан атлаа нэгийг нь эхээр дэмжээгүй бол бүрэн мэт харагдавч үнэнч байдалд унана. зөв байдал ба эхийн дэмжлэг гэсэн ялгаа ийм тохиолдолд мөн чухал.

Хариултгүй асуултад мэдээлэл хүрэлцэхгүйг хэлсэн эсэхийг тусгайлан тэмдэглэ. Хэрэв санд хариу байхад систем татгалзсан бол шаардлагатай хэсэг хайлтаар ирсэн эсэхийг хар: ирээгүй бол хайлтын, ирсэн бол хариулт үүсгэх үеийн алдааг шалгах үндэслэл бий.

Хоёр бүртгэлд босгоо тогтоо

Хайлтын бүртгэлд асуулт, шаардлагатай баримт, дамжуулсан хэсгүүдийн дараалал, recall@k болон хамааралгүй хэсгүүдийг бич. Хариултын бүртгэлд мөн асуултын дугаараар холбож, дэмжлэггүй мэдэгдэл, орхигдсон баримт, асуултад хамаарах байдал, хариултгүй үед зөв татгалзсан эсэхийг оруул. Ингэснээр нэг асуултын хайлт сайн байсан ч хариулт муу гарсныг харах боломжтой.

Босгыг нийт дундажид бус, шалгуур бүрт сонго: шаардлагатай бүх баримт дамжсан асуултын хувь, дэмжлэггүй мэдэгдэлгүй хариултын хувь, бүрэн хариултын хувийг тус тусад нь зорилго болго. Эдгээр зорилтын тоог хэрэглээний алдааны өртөг, хүний тэмдэглэсэн багцад тулгуурлан тогтооно. Хариултгүй асуултын зөв татгалзалтыг мөн тусад нь хар; түүнийг хариулттай асуултын recall-ын дундажид оруулах утгагүй.

Жижиг багцад хувь ганцаараа тогтворгүй. Болзолт жишээ авбал 20 асуултын нэгний төлөв солигдоход нийт дүн таван нэгж хувиар өөрчлөгдөнө. Иймээс босгын хажууд унасан асуултын тоо, төрөл, давтагдсан алдааг бич. Монгол хэлний нэр томьёо эсвэл нөхцөлт өгүүлбэртэй холбоотой алдаа нэг ангилалд бөөгнөрч байгаа эсэх нь нийт дунджаас илүү тодорхой чиглэл өгнө.

Алдааны шатыг дарааллаар нь оношил

1. Хариулт дутуу эсвэл буруу бол шаардлагатай баримт хайлтаас гарсан эсэхийг эхэлж тогтоо. Гараагүй бол хэсэглэлт, индексжүүлэлт, асуултын боловсруулалт болон хайлтын эрэмбийг шалга.
2. Баримт хайлтад гарсан ч үүсгэгчид дамжих эхний k хэсэгт багтаагүй бол эрэмбэ болон дамжуулах хязгаарыг шалга. Хариултын зааврыг өөрчлөхөөс өмнө хэрэгтэй хэсгийг үүсгэгчид хүргэх шаардлагатай.
3. Баримт дамжсан атлаа хариулт түүнийг орхисон, буруу тайлбарласан эсвэл дэмжлэггүй мэдэгдэл нэмсэн бол үүсгэгчийн заавар, баримт ашиглах дүрэм, хариултын хэлбэрийг шалга. Ижил асуултад зөв эх хэсгийг шууд өгч ажиллуулах нь хоёр шатны нөлөөг ялгахад тусална.
4. Нэг асуултад хайлт ч, үүсгэгч ч алдаа гаргасан бол хоёуланг нь бүртгэ. Ингэснээр дараагийн өөрчлөлт аль алдааг арилгасан, аль нь хэвээр байгааг асуулт бүрээр харьцуулж болно.

Мөн уншаарай:

• RAG хариулт зөв мөртлөө эх сурвалжгүй байж болно: хоёр хэмжүүрийг салга
• DMARC-ийг шууд reject бүү болго: нэг mailto алдаа хамгаалалтыг чимээгүй унтраана
• LangChain эсвэл LlamaIndex: RAG-ийн чанарыг framework дангаараа шийдэхгүй