AI აგენტის კარგი პასუხი საკმარისი არაა — შეამოწმეთ რეალური შედეგიც

AI აგენტის შესაფასებლად ჯერ განსაზღვრეთ მომხმარებლის ამოცანა და წარმატების პირობა, შემდეგ შეადგინეთ შესაბამისი სატესტო ნაკრები და ყოველი გაშვება იმავე წესით შეამოწმეთ. OpenAI-ის შეფასების გზამკვლევი პროცესს ამოცანის აღწერად, სატესტო მონაცემებზე გაშვებად და შედეგების მიხედვით გაუმჯობესებად ყოფს. ეს მიდგომა გამოდგება კლასიფიკაციისთვის, დოკუმენტებზე დაყრდნობილი პასუხისთვის და ინსტრუმენტებიანი აგენტისთვის.

აგენტის შემთხვევაში ტექსტის ხარისხს გარემოში მიღებული შედეგიც დაუმატეთ. Anthropic-ის აგენტების შეფასების აღწერა ერთმანეთისგან განასხვავებს ცდის ჩანაწერსა და საბოლოო მდგომარეობას: აგენტმა შეიძლება განაცხადოს, რომ ფრენა დაჯავშნა, თუმცა მონაცემთა ბაზაში ჯავშანი არ არსებობდეს. ამიტომ პასუხი, ინსტრუმენტის გამოყენება და შესრულებული მოქმედება ცალ-ცალკე შეაფასეთ.

სატესტო ნაკრები რეალური ამოცანებიდან ააწყვეთ

თითოეული ტესტისთვის ჩაწერეთ მომხმარებლის მოთხოვნა, საწყისი პირობები, მოსალოდნელი შედეგი და მისი შემოწმების წესი. თუ შედეგი გარე მონაცემებზეა დამოკიდებული, დააფიქსირეთ დოკუმენტების ვერსია, აგენტის საწყისი მდგომარეობა და ინსტრუმენტებისთვის მინიჭებული უფლებები. ამ ჩანაწერის გარეშე ჩავარდნისას ძნელი გასარჩევია, შეცდა მოდელი, შეიცვალა წყარო თუ თავად სატესტო გარემო.

ნაკრებში ჩვეულებრივ შემთხვევებთან ერთად შეიტანეთ ორაზროვანი, არასრული და ისეთი მოთხოვნები, რომლებზეც მოქმედება დაუშვებელია. წინასწარ განსაზღვრეთ, როდის არის სწორი დაზუსტების მოთხოვნა, პასუხისგან თავის შეკავება ან ინსტრუმენტის გამოუყენებლობა. შეინახეთ შემთხვევის განმეორებით გასაშვები ასლი; რეალური მომხმარებლის მონაცემები სატესტო ნაკრებში მხოლოდ საჭირო მოცულობით გადაიტანეთ და პირადი ინფორმაცია ამოიღეთ.

მინიმალური კომპლექტი: კლასიფიკაცია, RAG და აგენტი

კლასიფიკაცია. პირობითად, აპლიკაცია ქართულენოვან მხარდაჭერის შეტყობინებას კატეგორიას ანიჭებს. ტესტში შეინახეთ შეტყობინება, ადამიანის მიერ დადასტურებული სწორი კატეგორია და დასაშვები კატეგორიების სია. პროგრამულმა შემმოწმებელმა ჯერ უარყოს სიაში არშემავალი პასუხი, შემდეგ არჩეული კატეგორია სწორ ნიშნულს შეადაროს. შერეული პრობლემების შემცველი შეტყობინებები ცალკე აღრიცხეთ, რათა საერთო სიზუსტემ განმეორებადი შეცდომა არ დაფაროს.

RAG. პირობითი კითხვა ეხება მომსახურების წესს, რომლის პასუხიც მოცემულ დოკუმენტებში უნდა მოიძებნოს. ტესტს დაურთეთ დოკუმენტების ფიქსირებული ვერსია, შესაბამისი მონაკვეთი და პასუხის აუცილებელი აზრი. ცალ-ცალკე შეამოწმეთ, იპოვა თუ არა სისტემამ საჭირო მონაკვეთი, ეყრდნობა თუ არა პასუხი სწორედ მას და როგორ პასუხობს მაშინ, როცა დოკუმენტებში პასუხი არ არის. გამართული ტექსტი წყაროსთან შესაბამისობის მტკიცებულება არ არის.

ინსტრუმენტებიანი აგენტი. პირობით ამოცანაში აგენტმა სატესტო ჩანაწერის სტატუსი უნდა შეცვალოს. ტესტს სჭირდება საწყისი მდგომარეობა, ნებადართული მოქმედება და დასრულების შემდეგ მოსალოდნელი მდგომარეობა. საბოლოო შეტყობინებასთან ერთად გადაამოწმეთ, რომ საჭირო ჩანაწერი ნამდვილად შეიცვალა, სხვა ჩანაწერები ხელუხლებელია და უნებართვო მოთხოვნა არ შესრულებულა. ყოველი ცდა სუფთა გარემოდან დაიწყეთ, რათა წინა გაშვების ცვლილებამ შემდეგი შედეგი არ დაამახინჯოს.

გაიმეორეთ ცდები და შეინახეთ მათი კვალი

ერთჯერადი წარმატება აგენტის საიმედოობას ვერ აჩვენებს: ერთი და იგივე მოთხოვნამ სხვადასხვა გაშვებაზე განსხვავებული მოქმედება შეიძლება გამოიწვიოს. მნიშვნელოვანი შემთხვევები უცვლელი კონფიგურაციით რამდენჯერმე გაუშვით და თითოეული ცდის წარმატება ცალკე აღრიცხეთ. საშუალო ქულასთან ერთად ნახეთ შემთხვევებიც, რომლებიც ხან სრულდება, ხან ფუჭდება; მომხმარებლისთვის ეს ცვალებადობა შეიძლება გადამწყვეტი იყოს.

ყოველი ცდის კვალში შეინახეთ შეყვანა, პრომპტისა და მოდელის ვერსიები, მოძიებული მასალა, ინსტრუმენტების გამოძახებები და პასუხები, საბოლოო ტექსტი, გარემოს საბოლოო მდგომარეობა და შემმოწმებლის გადაწყვეტილება. ასე ჩანს, შეცდომა ძიებამ გამოიწვია, ინსტრუმენტისთვის გადაცემულმა არგუმენტმა თუ მოქმედების არასწორმა არჩევანმა. თუ შემმოწმებელი სწორ შედეგს უარყოფს, გადაამოწმეთ ტესტის პირობა და შეფასების წესი, სანამ მოდელს შეცვლით.

შემმოწმებელი იმ შედეგს მოარგეთ, რომელსაც ზომავთ

პროგრამული, წინასწარ გაწერილი შემმოწმებელი გამოიყენეთ მკაფიო პირობებისთვის: კატეგორიის დამთხვევა, პასუხის ფორმატის სისწორე, აკრძალული ინსტრუმენტის გამოძახება ან მონაცემთა ბაზის საბოლოო მდგომარეობა. ღია ტექსტისთვის მოდელურმა შემმოწმებელმა შეიძლება შეაფასოს, პასუხობს თუ არა ტექსტი კითხვას და ეყრდნობა თუ არა მიწოდებულ მასალას. მას კონკრეტული კრიტერიუმები მიეცით და არასაკმარისი მტკიცებულებისას პასუხის გაურკვევლად მონიშვნის საშუალება დაუტოვეთ.

მოდელური შეფასება პერიოდულად ადამიანის შეფასებას შეადარეთ. შესადარებლად აიღეთ წარმატებულად მონიშნული, უარყოფილი და სადავო პასუხები; განსხვავებების მიხედვით დააზუსტეთ კრიტერიუმი ან სწორი პასუხის აღწერა. როცა გარემოში მომხდარი ცვლილება პირდაპირ მოწმდება, მისი დადგენა მხოლოდ ტექსტის შემფასებელ მოდელს არ მიანდოთ. ადამიანური კალიბრაცია განსაკუთრებით საჭიროა იქ, სადაც სწორი პასუხის რამდენიმე მისაღები ფორმა არსებობს.

გამოშვების ზღვარში ხარისხი, ხარჯი და დაყოვნება ჩაწერეთ

მოქმედი და ახალი ვერსია ერთსა და იმავე ნაკრებზე შეადარეთ. ცალკე აღრიცხეთ ამოცანის შესრულება, უნებართვო მოქმედებები, დასრულებულ ამოცანაზე დახარჯული თანხა და პასუხამდე გასული დრო; ხარჯში ინსტრუმენტებისა და დამატებითი მოდელური შემოწმებების ფასიც გაითვალისწინეთ. საშუალო დაყოვნებასთან ერთად ნელი ცდებიც ნახეთ, რადგან ცვლილებამ შეიძლება ხარისხი გააუმჯობესოს, მაგრამ ზოგი მოთხოვნა მნიშვნელოვნად შეანელოს.

მისაღები რეგრესიის ზღვარი შედეგების ნახვამდე განსაზღვრეთ: რომელი შეცდომა აჩერებს გამოშვებას და ხარისხის, ხარჯისა თუ დაყოვნების რა ცვლილებაა დასაშვები. ზღვარი პროდუქტის მოთხოვნებიდან უნდა გამომდინარეობდეს. მაგალითად, პირობით სისტემაში უნებართვო მოქმედება შეიძლება გამოშვების შემაფერხებელი იყოს მაშინაც, როცა პასუხების საერთო ხარისხი იზრდება. საწარმოო გარემოში აღმოჩენილი ახალი ჩავარდნა განმეორებად ტესტად აქციეთ, რათა მომდევნო ვერსიამ იგივე შემთხვევაც გაიაროს.

შენიშვნა ძველი OpenAI Evals პლატფორმის მომხმარებლებისთვის

თუ ტესტები ძველ Evals პლატფორმაზე გაქვთ აგებული, პორტატულ ფორმატში შეინახეთ ამოცანები, შეყვანები, შეფასების წესები და წინა შედეგები. OpenAI-ის გაუქმების განრიგის მიხედვით, არსებული შეფასებები 2026 წლის 31 ოქტომბერს მხოლოდ წაკითხვადი გახდება, ხოლო Evals-ის პანელისა და API-ის გათიშვა 2026 წლის 30 ნოემბრისთვის არის დაგეგმილი. ახალ გარემოში იგივე შემთხვევები გაუშვით და გადაამოწმეთ, რომ შენარჩუნებულია საწყისი პირობები, საბოლოო მდგომარეობის შემოწმება და გამოშვების ზღვარი.