Claude агентууд ном солилцов: алдааны 85% нь хүнийг буруу ойлгосноос үүджээ

Японы Claude Media-ийн тоймд тэмдэглэснээр, Anthropic 2026 оны 9 дүгээр сарын 24-нд Project Swap туршилтын үр дүнг нийтэлжээ: АНУ, Европ дахь зургаан оффисын 201 ажилтны номыг Claude агентуудаар солилцуулахад оновчтой хуваарилалт ба бодит үр дүнгийн зөрүүний 85% нь хүний сонголтыг буруу таамагласнаас үүдсэн байна. Агентууд хэлцэл хийж чадсан ч эзнийхээ авахыг хүссэн номыг бүрэн таньж чадаагүй нь үр дүнд илүү хүчтэй нөлөөлжээ.

Model Current-ийн тоон задлалд дурдсанаар, богино ярилцлагын дараах Claude-ийн таамаг хүний өөрийн эрэмбэлсэн номын хосуудын 61%-д таарсан; хүний сонголтыг бүрэн мэдсэн үеийн хамгийн сайн хуваарилалт 0.89, Claude-ийн таамгаар гаргасан хамгийн сайн хуваарилалт хүний сонголтоор хэмжихэд 0.60, харин агентуудын арилжааны дундаж үр дүн 0.55 оноо авчээ. Эдгээр оноо нь хэдэн хэлцэл амжилттай болсныг бус, хүн авсан номоо өөрийн жагсаалтын хаана байрлуулахыг хэмжинэ. Иймээс зөрүүний хувь нь туршилтын энэ хэмжүүрт хамаарна.

Агентууд номыг хэрхэн солилцсон бэ

Оролцогчид бусдад өгөх номоо авчирч, зун ямар төрлийн ном уншихыг хүсэж байгаагаа Claude-д богино ярилцлагаар тайлбарласан. Тэр ярианд тулгуурлан Claude тухайн оффисын солилцоонд орсон номуудыг хүн бүрт таалагдах магадлалаар нь эрэмбэлжээ. Дараа нь хүн бүрийн төлөөлөгч агент энэ таамагласан эрэмбийг ашиглан бусад агенттай дижитал талбарт санал солилцож, номын эзэд хоорондоо шууд тохиролцох шаардлагагүй болсон.

Агент эхэндээ төлөөлж буй хүнийхээ авчирсан номыг эзэмшиж, түүнийг өөр номоор солих зорилготой байв. Тэд хоёр талын энгийн солилцооноос гадна хэд хэдэн хүний номыг дараалан шилжүүлэх санал тавьж болохоор зохион байгуулсан бөгөөд холбогдох бүх агент зөвшөөрсний дараа л хэлцэл хүчинтэй болсон. Санал болон тохиролцооны түүх арилжааны талбарт ил байсан нь хэлцэл хэрхэн бүтсэнийг хожим нь харах боломж өгчээ.

Хүний жинхэнэ сонголтыг хэмжихийн тулд оролцогчдоос номын тусдаа түүврийг өөрсдөөр нь эрэмбэлүүлсэн. Агентууд энэ жагсаалтыг хараагүй тул хэлэлцээнд ашигласан таамаг нь туршилтын шалгах хариунаас тусдаа үлджээ. Ингэснээр агент өөрт өгөгдсөн зорилгыг сайн биелүүлсэн эсэх, тэр зорилго анхнаасаа эзний хүсэлтэй хэр нийцсэн бэ гэдгийг ялгаж үзэх боломжтой болсон.

Зөрүүний ихэнх нь хэлэлцээнээс өмнө бий болжээ

Claude-ийн таамаг хүний сонирхлын талаар хэрэгтэй мэдээлэл агуулж байсан ч номын дарааллыг хангалттай нарийн гаргаагүй. Хэрэв агент эзнийхээ илүү хүссэн номыг доогуур эрэмбэлбэл, амжилттай хэлцэл ч хүний хувьд дундаж сонголт болж хувирна. Судлаачид үүнийг ялгахын тулд хүний өөрийн эрэмбээр гаргаж болох хамгийн сайн хуваарилалтыг эхлээд тооцоод, дараа нь Claude-ийн эрэмбэд тулгуурлан хийж болох хамгийн сайн хуваарилалтыг мөн хүний сонголтоор үнэлсэн.

Ийм харьцуулалтад оновчтой үр дүн нь хүн бүр дуртай номоо авах хувилбар гэсэн үг биш. Нэг номыг олон хүн хүсэж болох бөгөөд ганц хувь нь зөвхөн нэг хүнд очно. Туршилтын оновчтой хуваарилалт энэ бодит хязгаарлалтыг тооцож, нийт оролцогчийн сонголтыг боломжийн хэрээр сайн хангах хувилбарыг илэрхийлдэг. Харин агентуудын таамагласан эрэмбээр хуваарилалт хийхэд алдагдсан боломжийг илүү сайн наймаалцах аргаар бүрэн нөхөх боломжгүй байв.

Сонголтоо тайлбарлах нь хүний хувьд ч амар ажил байгаагүй. Anthropic-ийн анхдагч тайланд дараах асуулгад хариулсан хүмүүс авсан номдоо дунджаар 10-аас 7.2 оноо өгсөн, асуулгад оролцогчдын 59% нь хариулсан гэжээ; нэг оролцогч “I don't even fully know what I want when it comes to books” хэмээн бичсэн байна. Авсан номдоо ерөнхийдөө сэтгэл ханах, боломжтой байсан бусад номтой харьцуулахад илүү таалагдах сонголтоо алдах хоёр зэрэг тохиолдож болно. Тиймээс дараах сэтгэл ханамжийн үнэлгээ нь сонголтыг урьдчилан хэр зөв таасныг дангаараа хэмжихгүй.

Хэлэлцээний арга юуг өөрчилсөн бэ

Номыг тараасны дараа судлаачид агентуудыг өөр өөр загвар, заавартайгаар дахин арилжаалуулсан. Илүү чадвартай загвар ашигласан зах зээлүүд Claude-ийн өөрийн таамагласан эрэмбээр хэмжихэд ихэвчлэн сайн үр дүн үзүүлсэн. Зөвхөн эзнийхээ ашигт төвлөрөх үү, эсвэл бусдын үр дүнг давхар харгалзах уу гэсэн зааврын нөлөө харьцангуй бага байв. Энэ ялгаа нь агент өгөгдсөн зорилгын хүрээнд хэр чадварлаг ажиллаж байгааг харуулдаг боловч зорилго хүний хүсэлтэй нийцсэн эсэхийг шийдэхгүй.

Зарим агент бусдын хооронд олон талт солилцоо зохион байгуулахыг оролдож, зарим нь хүссэн номоо авахын тулд санал тавьж, буулт хийжээ. Ийм идэвхийг хэлцлийн түүхээс ажиглаж болно. Гэвч тохиролцооны тоо, ярианы ур чадвар нь эзэнд очсон ном хэр таалагдахыг орлох хэмжүүр биш байв. Агентын амжилтыг зөвхөн өөрийнх нь ашигласан эрэмбээр үнэлбэл хүний анхнаасаа хүсээгүй үр дүнг сайн хэлцэл гэж үзэх эрсдэлтэй.

Зөвшөөрөл ба бодит хүргэлтэд үлдсэн асуудал

Project Swap-ийн үр дүн байгууллагын худалдан авалт, захиалгыг мөн адил оноотой болгоно гэсэн үг биш. Харин агент хүний өмнөөс шийдвэр гаргах эрх авах үед юуг баталгаажуулах хэрэгтэйг тодруулж байна. Боломжит бараа, үйлчилгээний цөөн хувилбарыг хүн өөрөө эрэмбэлээд агентын таамагтай харьцуулахад үнэ, чанар, хүргэх хугацааны аль нь шийдвэрлэх нөхцөл болохыг агент зөрүүлж ойлгосон эсэх илэрч болно. Энэ нь номын туршилтын аргыг илүү өндөр өртөгтэй шийдвэрт шилжүүлэн бодсон редакцийн дүгнэлт юм.

Ийм зөрүү илэрвэл агентын эрхийг өргөжүүлэхээс өмнө хүний сонголтыг дахин тодруулах үндэслэл бий. Мөн ямар захиалгыг агент өөрөө баталж болох, алинд нь хүний зөвшөөрөл хэрэгтэйг ялгах нь сонголтын алдааны өртгийг хязгаарлана. Туршилтад агентууд хүний таамагласан хүсэлд үнэнчээр ажилласан ч тэр таамаг буруу байж болохыг харуулсан учраас зөвшөөрөл нь зөвхөн хэлцэл хийх чадварт тулгуурлахад хангалтгүй.

Номын солилцоонд хэлцэл хийгдсэн ч зарим ном эзэндээ бодитоор очоогүй: оролцогч бүр номоо авчраагүй, мөн авах, үлдээх хөдөлгөөнийг мөрдөх тогтолцоо байгаагүй. Энэ нь тохиролцоо, биелэлтийг тус тусад нь бүртгэх шаардлагыг ил болгожээ. Захиалга өгөх агентын хувьд хүн юу зөвшөөрсөн, агент юуг сонгосон, нийлүүлэгч юу хүргэсэн нь хоорондоо зөрвөл цуцлах эсвэл буцаах боломж шийдвэрийн нэг хэсэг болно.