OpenAI гэрээний ажлыг 11 даалгавраар шалгав, Astra 55%-д хүрчээ

|Зохиогч: QUASA редакцын баг|4 мин уншина
OpenAI гэрээний ажлыг 11 даалгавраар шалгав, Astra 55%-д хүрчээ

OpenAI Ironclad-тай хийсэн гэрээний ажлын судалгааны үнэлгээгээ 2026 оны аравдугаар сарын 6-нд нийтэлж, 11 даалгаварт GPT-6 Astra шалгуурын дунджаар 55% авсныг мэдээлэв. Үнэлгээ нь агент гэрээний программд зөвшөөрөл, загвар, дахин ашиглах нөхцөлийг тохируулахдаа байгууллагын дүрмийг эцсийн урсгалд хадгалж чадсан эсэхийг хэмжсэн. Энэ нь хяналттай орчны судалгааны үр дүн бөгөөд бодит хэрэглэгчдийн гэрээг бие даан гүйцэтгэсэн хувь биш.

Byte Watchr-ийн задлалд даалгавар бүрийг 8–50 шалгуураар үнэлж, GPT-6 Astra 55.0%, GPT-5.6 Sol 41.6% авсан, нэг оролдлогын тооцоолсон дундаж хугацаа тус бүр 19.2 ба 37.0 минут байсан гэж тэмдэглэжээ. Загвар тус бүрийг өөрт нь хамгийн өндөр оноо өгсөн сэтгэн бодох тохиргоогоор ажиллуулсан. Хугацаа нь программ дахь оролдлогын тооцоолол болохоос гэрээний багийн ажлаас хэмнэсэн бодит цаг биш.

Гэрээний ямар ажлыг туршсан бэ

Даалгавруудыг Ironclad-ийн ажилтнууд болон OpenAI-д Ironclad ашигладаг хүмүүс хууль, борлуулалт, худалдан авалтын ажлаас сонгосон. Нууцлалын гэрээ байгуулах урсгал тохируулах, худалдан авалтын зөвшөөрлийн дараалал бий болгох, хүсэлт гаргагчийн сонгосон харьяалалд нийцүүлэн дахин ашиглах гэрээний заалтыг өөрчлөх ажил багтжээ. Ийм ажилд талбар бөглөхөөс гадна маягт, гэрээний загвар, батлах дүрэм болон эцсийн бүртгэл хоорондоо нийцэх ёстой.

Программ худалдан авах хүсэлтээр энэ уялдааг төсөөлж болно. Худалдан авалтын дүн тогтоосон босго давбал санхүүгийн зөвшөөрөл шаардагдах, зарим хүсэлт аюулгүй байдлын хяналтад орох, стандарт бус нөхцөл хуульчид шилжих дүрэм байж болно. Агент эдгээрийг тохиргоонд оруулахын зэрэгцээ өөр өөр хүсэлт зөв замаар дамжих нөхцөлийг бүрдүүлэх шаардлагатай. Дэлгэц дээр бүх талбар бөглөгдсөн харагдах нь батлах зам зөв ажиллаж байгааг дангаараа харуулахгүй.

Ironclad загваруудыг дадлагажуулах программын орчныг мөн бүрдүүлсэн бөгөөд судлаачид түүнд зориулан зохиомол сургалтын даалгавар боловсруулжээ. Ингэснээр агентын үлдээсэн тохиргоог тодорхой шаардлагаар дахин үнэлэх боломжтой болсон. Харин сонгосон ажлууд байгууллага бүрийн гэрээний дүрэм, онцгой нөхцөлийн бүх хувилбарыг төлөөлөхгүй; нийтлэгдсэн онооны хамрах хүрээ нь энэ туршилтын даалгаврууд юм.

Дундаж оноо юуг хэмжсэн бэ

Шалгуурын дундаж оноо нь агентын биелүүлсэн шаардлагуудыг нэгтгэдэг болохоос бүрэн дуусгаж, хүний оролцоогүйгээр ашиглаж болох гэрээний урсгалын хувийг тоолдоггүй. displacement.ai-ийн тайлбар хэсэгчилсэн оноог бүхэл даалгаврын амжилт гэж уншихад энэ ялгаа алдагддагийг онцолсон. Маягтын жижиг мэдээллийг орхих, зайлшгүй баталгаажуулалтыг алгасах нь хоёулаа биелээгүй шалгуур боловч гэрээний ажиллагаанд учруулах үр дагавар нь ижил биш.

Тиймээс өндөр дундаж оноотой тохиргоонд ч шийдвэрлэх дүрэм дутсан байж болно. Худалдан авалтын хүсэлтийн дүн зөв хадгалагдсан атлаа шаардлагатай зөвшөөрөлд очихгүй бол эцсийн урсгал байгууллагын тавьсан нөхцөлийг хангахгүй. Үүнээс эсрэгээр, агент олон жижиг алхмыг зөв хийсэн нь тэр алдааг нөхөхгүй. Аль шаардлага биелээгүй, тэр нь ямар шийдвэрт нөлөөлөхийг мэдэхгүйгээр дундаж оноог ашиглалтын бэлэн байдлын хэмжүүр болгох аргагүй.

Харьцуулсан үр дүн нь сонгосон даалгаврууд дээр Astra илүү олон шалгуур хангасныг харуулна. Гэхдээ загварууд өөр өөр сэтгэн бодох тохиргоотой ажилласан тул онооны зөрүүг зөвхөн загварын хувилбар солигдсоны нөлөө гэж салгаж дүгнэх боломжгүй. Судалгааны үнэлгээ нь мөн хэрэглэгчийн орчинд гарах алдааны давтамж, засварлахад шаардагдах ажил, зөвшөөрлийн дүрэм тасралтгүй мөрдөгдөх эсэхийг хэмжээгүй.

Дүрмийн зааг дээр юу илэрдэг вэ

Батлах дүрэм зөв суусан эсэх нь нөхцөлийн зааг дээр тод харагдана. Жишээлбэл, тогтоосон босгоос доош хүсэлт шууд үргэлжилж, босгоос дээш хүсэлт санхүүгийн зөвшөөрөлд очих ёстой гэж нөхцөлтөөр төсөөлье. Энэ нь нийтлэгдсэн туршилтын бодит кейс бус, дүрмийн үр дүнг ойлгуулах жишээ юм. Хоёр хүсэлт ижил замаар явбал маягт бүрэн харагдсан ч үндсэн шаардлага хэрэгжээгүй байна.

Хүсэлт гаргагчийн сонгосон харьяаллаас шалтгаалан гэрээний заалт өөрчлөгдөх ажилд ч оролт болон үр дүнг хамтад нь харах хэрэгтэй. Сонголтын талбар ажиллах нь өөрөө хангалтгүй: сонголт эцсийн заалтын хувилбарт туссан байх ёстой. Энд агентын дарсан товч, нээсэн цэс бус, түүний үлдээсэн тохиргоогоор дараагийн хүсэлт хэрхэн боловсруулагдах нь гэрээний ажлын бодит үр дүн болно.

Ийм шалгалт онцгой нөхцөлийн ач холбогдлыг өсгөдөг. Ердийн хүсэлт зөв замаар өнгөрсөн ч стандарт бус нөхцөлтэй гэрээ хуульчийн хяналтыг алгасвал урсгал найдвартай болсон гэж үзэхэд хэцүү. Дундаж оноо ийм алдааг бусад биелсэн шалгууртай нийлүүлж харуулдаг тул зөвшөөрөлтэй холбоотой шаардлагыг тусад нь харах шаардлага хэвээр үлдэнэ.

Хүний хяналт хаана үлдэж байна вэ

Ironclad-ийн технологийн захирал Сунита Верма “Agents need to understand the full contracting lifecycle” гэж хэлсэн. Гэрээний урсгалд энэ нь тус тусдаа үйлдлийг дуусгахаас илүү өргөн шаардлага юм: хүсэлтийн мэдээлэл, сонгосон заалт, шаардлагатай зөвшөөрөл болон эцсийн гэрээ хоорондоо таарах ёстой. Аль нэг дүрэм замын дунд алдагдвал тохиргоог ашиглахын өмнө хүн зөрүүг олж засах хэрэгтэй болно.

Нийтлэгдсэн судалгаанд агентын оролдлогын хугацааг тооцсон боловч алдааг илрүүлэх, тохиргоог засах, хүсэлтийг дахин шалгах хүний ажлыг хэмжээгүй. Тэр ажил гэрээний багийн нийт хугацаанд нөлөөлнө. Ялангуяа буруу батлах зам анзаарагдахгүй үлдвэл хурдан тохируулсан урсгал дараагийн хүсэлтүүдэд мөн буруу үйлчилж болзошгүй. Иймээс судалгааны хурдны үзүүлэлтээс бодит хэрэглээний цагийн хэмнэлтийг шууд гаргах боломжгүй.

Дараагийн шийдвэрлэх баримт нь байгууллагын бодит дүрэмтэй урсгалд алдаа хэр тогтвортой давтагдах, түүнийг илрүүлж засахад хүн хэр их ажиллах тухай өгөгдөл байх болно. Тэр хүртэл гэрээний зөвшөөрлийн эцсийн үр дүнд хариуцах хүн шаардлагатай хэвээр байна.

Мөн уншаарай:

Хуваалцах:

Холбоотой нийтлэлүүд

Мэдээллийн товхимолд бүртгүүлэх

Web3, AI болон криптоны шинэ мэдээг шууд имэйл хайрцагтаа аваарай.

0