OpenAI эсвэл Cohere embedding: Монгол хайлтыг дундаж оноогоор бүү сонго

Монгол хэлтэй semantic search болон RAG-д OpenAI, Cohere хоёрын аль нь тохирохыг нийтлэг benchmark-ийн дундажаар шийдэхгүй. Ижил баримтын сан дээр Монгол асуултаар зөв хэсгийг хэр олж байгааг хэмжээд, тэр чанарт хүрэх индексийн нийт өртөгтэй нь хамт харьцуул. Нэг системд Монгол баримт давамгайлж байхад нөгөөд нь Монгол асуултаас англи баримт олох шаардлага голлож болно.

Харьцуулах хувилбараа загварын нэр, векторын хэмжээс хүртэл тодорхойл: OpenAI-ийн text-embedding-3-large, Cohere-ийн Embed 5 Pro эсвэл Fast, шаардлагатай бол Cohere-ийн embed-multilingual-v3.0. Нэг загварын хэмжилтийг нөгөөгийнх нь үр дүн мэт үзэхгүй. Ялангуяа олон хэл дэмждэг гэсэн тайлбар нь байгууллагын нэр томьёо, кирилл үсгийн алдаатай бодит асуултад зөв баримт гарахыг батлахгүй.

Хэлний жагсаалт ба техникийн хязгаар

Cohere-ийн Embed баримт бичигт embed-multilingual-v3.0-ийн дэмжих хэлний жагсаалтад Монгол хэл mn кодтой, оролтын хязгаар нь 512 токен, вектор нь 1024 хэмжээстэй гэжээ. Мөн Embed 5 Pro болон Fast-ийн оролтын хязгаарыг 128 мянган токен, үндсэн векторыг 2048 хэмжээстэй гэж тусад нь өгсөн. Монгол хэлийг нэрлэсэн v3-ийн жагсаалтыг шинэ загварын Монгол хайлтын чанарын хэмжилт гэж ойлгож болохгүй.

OpenAI-ийн embedding зааварт text-embedding-3-large-ийн үндсэн вектор 3072 хэмжээстэй, оролтын дээд хязгаар 8192 токен бөгөөд dimensions параметрээр векторыг богиносгож болдгийг тайлбарласан. Богино вектор хадгалах зайг багасгана, харин хайлтын чанар хэр өөрчлөгдөхийг тухайн сонгосон хэмжээсээр нь шалгах хэрэгтэй. Урт оролт хүлээж авах боломжтой байсан ч RAG-д хариулт агуулсан хэсгийг бусад агуулгаас ялгаж индексжүүлэх шийдвэр хэвээр үлдэнэ.

Дундаж оноо яагаад Монгол хайлтыг шийдэхгүй вэ?

Jina Embeddings v3 судалгааны MTEB хүснэгтэд англи даалгаврын дундаж Jina загварт 65.52, text-embedding-3-large-д 64.60, Cohere-ийн embed-multilingual-v3.0-д 64.01 байна. OpenAI-ийн 64.60 нь тус судалгааны шинээр явуулсан бүх даалгаврын хэмжилт бус, компанийн өмнө нийтэлсэн дундаж болохыг хүснэгтийн тайлбар тэмдэглэсэн. Судлаачид OpenAI ба Cohere-ийн эдгээр загварыг олон хэл болон хэл дамнасан MTEB даалгаврын бүрэн багцаар үнэлээгүй учраас тэдгээрт олон хэлний нэгтгэсэн оноо тавиагүй.

Энэ хүснэгтийн англи даалгаврын дундаж нь Монгол асуултаас Монгол баримт олох чадварыг хэмжээгүй. Мөн Монгол асуултын зөв хариулт англи баримтад байх тохиолдлыг байгууллага бүрийн өгөгдлөөр төлөөлөхгүй. Хайлтын чанарт ангилал эсвэл өгүүлбэрийн төстэй байдлын онооноос илүүтэй зөв, хариулт агуулсан хэсэг хэрэглэгчид үзүүлэх эхний үр дүнд орсон эсэх чухал.

Монгол хайлтын дөрвөн хэсэгтэй лавлах багц

Жижиг лавлах багц байгуулахдаа бодит баримтын сангаас асуулт сонгож, асуулт бүрийн зөв хариултыг агуулсан хэсгийн ID-г загваруудыг ажиллуулахаас өмнө тэмдэглэ. Нэг асуултад хэд хэдэн зөв хэсэг байвал бүгдийг нь бүртгэ. Тэгвэл сэдэв нь төстэй боловч хариулт өгдөггүй хэсгийг санамсаргүйгээр зөв гэж тооцохгүй.

• Монгол асуулт → Монгол баримт. Үйлчилгээний нөхцөл, журам эсвэл бүтээгдэхүүний тайлбарын зөв Монгол хэсгийг олж байгаа эсэхийг хэмжинэ.
• Монгол асуулт → англи баримт. Хариулт англи хэлтэй техникийн тайлбар, гэрээ эсвэл тусламжийн хуудсанд байхад хэл дамнан олж байгаа эсэхийг ялгана.
• Нэр томьёо. Товчлол, бүтээгдэхүүний нэр болон хоёр хэлээр өөрөөр нэрлэдэг нэг ойлголттой асуултыг тусад нь авч үзнэ.
• Кирилл бичгийн алдаа. Үсэг орхисон, сольсон, зайг андуурсан болон ө, ү-г буруу бичсэн бодитой асуултын хувилбарыг шалгана.

Эдгээр нь нийлүүлэгчийн бэлэн benchmark бус, Монгол хэрэглээний хэрэгцээнд зориулсан үнэлгээний ангилал юм. Хэсэг бүрт ойролцоо тооны асуулт оруулбал нэг төрлийн асуулт нийт дүнг дангаар давамгайлах нь багасна. Үр дүнг харахаас өмнө аль хэсэг бизнест илүү чухлыг тогтоох хэрэгтэй: зөвхөн Монгол баримттай үйлчилгээний хайлт, англи баримт ихтэй дотоод тусламж хоёр ижил жинтэй үнэлгээ шаардахгүй.

Ололтыг ижил нөхцөлд тооцох нь

Баримтын сан, хэсэглэлт, метадата шүүлтүүр болон үзүүлэх үр дүнгийн тоог бүх хувилбарт ижил байлга. Cohere-ийн API-д асуулт, баримтад зориулсан оролтын төрлүүдийг зөв тохируулж, загвар бүрийн асуулт ба баримтын векторыг өөрийнх нь тохирох орон зайд харьцуул. Нэг нийлүүлэгчийн баримтын векторыг нөгөөгийн асуултын вектортой хольж хэмжвэл загварын чанарыг шударгаар үнэлэхгүй.

Recall@k нь эхний k үр дүнд орсон зөв хэсгийн тоог тухайн асуултын нийт зөв хэсгийн тоонд хуваана. Хэрэв асуулт бүрт ганц зөв хэсэг тэмдэглэсэн бол эхний k-д орсон эсэхийг тоолсон хувьтай ижил болно. Олон зөв хэсэгтэй асуултад «дор хаяж нэг зөв хэсэг олдсон» үзүүлэлтийг мөн гаргаж болно, гэхдээ түүнийг recall гэж нэрлэхгүй. Хязгаарлагдмал RAG контекстэд хэдхэн хэсэг л багтах тул эхний тав, эхний арав дахь үр дүнгийн үзүүлэлтийг тус тусад нь харах нь ашигтай.

Нийт дүнгээс гадна дөрвөн хэсгийн үр дүн, алдсан асуултын жагсаалтыг харьцуул. Тухайлбал, нэг загварын нийт дундаж өндөр атлаа Монгол асуултаас англи баримт олох чухал хэсэгт олон асуулт алдаж болно. Ойролцоолсон вектор хайлтын индекс хэрэглэж байгаа бол жижиг үнэлгээний багц дээр шууд вектор харьцуулалт хийснээр индексийн тохиргооноос үүссэн алдааг загварын ялгаанаас салгаж болно.

API төлбөрөөс цааших индексийн өртөг

OpenAI-ийн text-embedding-3-large загварын хуудсанд нэг сая оролтын токены үнэ $0.13 гэж нийтэлсэн. Cohere-ийн Embed 5 танилцуулгад текстийн нэг сая токенд Pro $0.12, Fast $0.08 бөгөөд хоёр хувилбар нэг вектор орон зайг ашигладаг тул Pro-оор баримт индексжүүлээд Fast-аар асуулт кодолж болохыг тайлбарласан. Ийм хосолсон тохиргооны Монгол хайлтын ололтыг тусдаа хувилбар болгон хэмжинэ.

Дараах нь нөхцөлт тооцоо: нэг сая баримтын хэсгийг нийлүүлэгч тус бүр нийт 200 сая төлбөртэй токен гэж тоолно, вектор бүрийг 32 битийн тоогоор хадгална гэж үзэв. Бодит токены тоо үйлчилгээ бүрийн токенчлолоос хамаарч өөр байж болно. Доорх зай нь зөвхөн түүхий векторын хэмжээ бөгөөд индексийн бүтэц, метадата, нөөц хуулбар ороогүй.

• OpenAI text-embedding-3-large: анхны кодлол $26; үндсэн хэмжээсээр түүхий вектор ойролцоогоор 12.3 ГБ.
• Cohere Embed 5 Pro: анхны кодлол $24; үндсэн хэмжээсээр түүхий вектор ойролцоогоор 8.2 ГБ.
• Cohere Embed 5 Fast: анхны кодлол $16; үндсэн хэмжээсээр түүхий вектор ойролцоогоор 8.2 ГБ.

Энэ тооцоонд асуултын давтамж, шинэ баримтын кодлол, дахин индексжүүлэлт болон вектор сангийн хадгалалт, хайлтын төлбөр нэмэгдэнэ. Баримтаа дахин хэсэглэх эсвэл загвар солих бүрд их хэмжээний баримтыг дахин кодлох шаардлага гарч болно. Векторын хэмжээсийг багасгавал түүхий хадгалалт буурна, харин тухайн хэмжээсээр дөрвөн хэсгийн Recall@k-ийг дахин хэмжиж байж хэмнэлт нь чанарын алдагдлыг зөвтгөх эсэхийг шийднэ.

Аль хувилбарыг сонгох вэ?

Хамгийн чухал асуултын бүлэгт зөв баримтыг тогтвортой олдог хувилбарыг эхэлж тодруул; ойролцоо чанартай хувилбаруудын дунд нийт индексийн өртөг, асуултын хурд, богино векторын нөлөөгөөр сонголтоо нарийсга. Хэрэв чухал асуултууд хоёуланд нь алдагдаж байвал баримтын хамрах хүрээ, хэсгийн хил болон хайлтын тохиргоог шалгаад дахин хэмж. Ийм алдаа ганцхан нийлүүлэгчийн нэрээс үүдсэн гэж дүгнэх үндэсгүй.

Мөн уншаарай:

• LangChain эсвэл LlamaIndex: RAG-ийн чанарыг framework дангаараа шийдэхгүй
• beehiiv эсвэл MailerLite: үнэгүй жагсаалтын хэмжээ биш, орлогын загвар шийднэ
• Google Workspace эсвэл Microsoft 365: AI багтсан үнэ бүхнийг шийдэхгүй