RAG თუ fine-tuning: განახლებადი ცოდნა და ქცევის სწავლება ერთი არაა

თუ შიდა დოკუმენტები ხშირად იცვლება და პასუხს გადამოწმებადი წყარო სჭირდება, დაიწყეთ RAG-ით: AWS-ის შედარებითი სახელმძღვანელო დოკუმენტებზე წყაროებიან კითხვა-პასუხს სწორედ ამ გზას ურჩევს. თუ მიზანი გამეორებადი სტილის, ფორმატის ან ვიწრო დავალების შესრულების სწავლებაა, შეაფასეთ fine-tuning. ორივე ერთად გამართლებულია, როცა სისტემას აქტუალური ფაქტებიც სჭირდება და პასუხიც მუდმივად განსაზღვრულ წესს უნდა მიჰყვებოდეს.

განსხვავება იმაშია, სად იცვლება სისტემა: RAG მოთხოვნისას ინფორმაციას გარე საცავიდან იღებს, fine-tuning კი მაგალითებზე სწავლებით მოდელის პარამეტრებს ცვლის. ამიტომ ცალ-ცალკე განსაზღვრეთ ცოდნის პრობლემა და პასუხის შესრულების პრობლემა. შიდა წესის ძველი ვერსიით პასუხის გაცემა და სწორი ფაქტის არასწორ ფორმატში მიწოდება სხვადასხვა შეცდომაა.

როცა ფაქტი იცვლება, მოძიება მოქნილია

RAG შესაბამის დოკუმენტს მაშინ ეძებს, როცა მომხმარებელი კითხვას სვამს. თუ, მაგალითად, მომსახურების პირობა განახლდა, ახალი ტექსტის საცავში შეტანა შესაძლებელს ხდის, მომდევნო პასუხმა მას დაეყრდნოს მოდელის ხელახლა გაწვრთნის გარეშე. ამისთვის დოკუმენტები საძიებო მონაკვეთებად მუშავდება და მოძიებული ნაწილი მოდელს პასუხის კონტექსტად მიეწოდება. განახლების რეალურ სისწრაფეს დოკუმენტის დამუშავებისა და საძიებო ინდექსის განახლების პროცესი განსაზღვრავს.

წყაროს ჩვენება ღირებულია, როცა თანამშრომელმა უნდა გაარკვიოს, რომელი წესის საფუძველზე მიიღო პასუხი. თუმცა ბმული სისწორის გარანტია არ არის: ძიებამ შეიძლება ახლო თემის, მაგრამ სხვა პირობაზე მოქმედი მონაკვეთი მოიტანოს, ან პასუხმა მნიშვნელოვანი გამონაკლისი გამოტოვოს. ამიტომ უნდა შეფასდეს, პოულობს თუ არა სისტემა საჭირო მონაკვეთს და ნამდვილად ამყარებს თუ არა იგი პასუხს. თუ ამოცანა მთელი გრძელი დოკუმენტის ზუსტი შეჯამებაა, მხოლოდ რამდენიმე მონაკვეთის მოძიებამ შეიძლება საერთო კონტექსტი დაკარგოს.

როცა შეცდომა ქცევაშია, მაგალითები გადამწყვეტია

Fine-tuning გამოსადეგია, თუ სწორი პასუხის ნიმუში სტაბილურია: მოდელმა უნდა შეინარჩუნოს ველების თანმიმდევრობა, გამოიყენოს დარგისთვის მიღებული ტერმინები ან განმეორებადი მოთხოვნა ერთნაირი წესით გარდაქმნას. AWS-ის არქიტექტურული რეკომენდაცია ამ გზას მაშინ განიხილავს, როცა საჭირო სტილის, ფორმატის ან ვიწრო ამოცანის მიღწევა მხოლოდ ინსტრუქციითა და RAG-ით რთულია; ის ხარისხიანი მოთხოვნა–პასუხის წყვილებისა და გაწვრთნის ხარჯის შეფასებასაც ითხოვს.

სასწავლო ნაკრები უნდა ფარავდეს როგორც ჩვეულებრივ, ისე რთულ შემთხვევებს. მაგალითების უნივერსალური მინიმალური რაოდენობა არ არსებობს: მნიშვნელობა აქვს მათ მრავალფეროვნებას, სისწორესა და იმას, რამდენად ზუსტად აღწერენ სასურველ ქცევას. თუ ორი მსგავსი მოთხოვნისთვის ურთიერთგამომრიცხავი პასუხებია მონიშნული, სწავლება გუნდში არსებულ გაურკვევლობას ვერ მოაგვარებს. მხოლოდ მკაფიო ფორმატის დასაცავად ჯერ ინსტრუქციით ან სტრუქტურირებული გამოტანით მიღებული შედეგის გაზომვაც გონივრულია.

ცვალებადი ფაქტის მოდელის წონებში გადატანა მოვლის ვალდებულებას ქმნის: არსებითი ცვლილების შემდეგ შესაძლოა მონაცემის განახლება და ახალი გაწვრთნილი ვერსიის შეფასება გახდეს საჭირო. გაწვრთნილი მოდელი კონკრეტულ პასუხთან ერთად არც იმ დოკუმენტს უთითებს ავტომატურად, საიდანაც ფაქტი ისწავლა. თუ ასეთი კავშირი აუცილებელია, ის ცალკე უნდა აიგოს.

გადაწყვეტილების ხე ოთხი შეკითხვით

არჩევანი დაიწყეთ იმ შეცდომით, რომელიც სამუშაოს უშლის ხელს. ერთ სისტემაშიც კი დოკუმენტური კითხვა-პასუხი და ფორმის ავტომატური შევსება შეიძლება სხვადასხვა მიდგომას მოითხოვდეს. შემდეგი შეკითხვები მოთხოვნას გაზომვად არჩევანად აქცევს:

• რამდენად ხშირად იცვლება სწორი ფაქტი? თუ პასუხი დოკუმენტის მოქმედ ვერსიაზეა დამოკიდებული, უპირატესობა მიეცით მოძიებას და განსაზღვრეთ, როგორ განახლდება საცავი. სტაბილური ინფორმაცია თავისთავად fine-tuning-ის მიზეზი არ არის: ზოგჯერ მისი უშუალოდ მოთხოვნის კონტექსტში მიწოდებაც საკმარისია.
• უნდა ჩანდეს კონკრეტული წყარო? თუ პასუხის შემოწმება დოკუმენტის მონაკვეთის დონეზეა საჭირო, შეინახეთ კავშირი პასუხსა და მოძიებულ ტექსტს შორის. შეაფასეთ, ამყარებს თუ არა მითითებული მონაკვეთი სწორედ იმ მტკიცებას, რომელსაც ბმული ახლავს, და მოქმედი ვერსიიდან არის თუ არა აღებული.
• რამდენი კარგი სასწავლო მაგალითი გაქვთ? თუ შეცდომა სტილსა და შესრულების წესშია, შეამოწმეთ, ფარავს თუ არა მოთხოვნა–პასუხის წყვილები ტიპურ შემთხვევებსა და გამონაკლისებს. მცირე ან წინააღმდეგობრივი ნაკრების მექანიკური გაზრდა შედეგს არ უზრუნველყოფს; გაწვრთნილი ვარიანტი მხოლოდ ინსტრუქციით მიღებულ საწყის შედეგს შეადარეთ.
• რომელი მეტრიკა წყვეტს არჩევანს? დოკუმენტურ პასუხში გაზომეთ საჭირო მონაკვეთის პოვნა, ფაქტობრივი სისწორე და ციტატის შესაბამისობა; განმეორებად დავალებაში — სწორი შესრულება და ფორმატის დაცვა. თუ ორივე სახის შეცდომა რჩება, გაერთიანებული სისტემა იმავე კითხვებზე შეადარეთ ცალკეულ მიდგომებს.

რატომ აჩვენებს კვლევა განსხვავებულ შედეგებს

სამედიცინო კვლევების მიმოხილვა 50 ნაშრომს აერთიანებს და ასკვნის, რომ ცოდნაზე დამოკიდებულ ამოცანებში RAG ხშირად უკეთესია, ხოლო fine-tuning დარგობრივ სტილსა და პასუხის ფორმას უკეთ ითვისებს. თავად მიმოხილვა ჯერ არ არის რეცენზირებული. მასში განხილული სამედიცინო ტესტებიდან კომპანიის შიდა წესებზე პასუხის ხარისხს პირდაპირ ვერ ვიწინასწარმეტყველებთ.

MedQA-USMLE-ზე ჩატარებულმა კონტროლირებულმა შედარებამ 1 273 ოთხპასუხიან კითხვაზე Gemma 3 4B და დომენზე მორგებული MedGemma 4B შეამოწმა: ამ უკანასკნელის უმრავლესობით დათვლილი სიზუსტე 53,3% იყო საბაზისო მოდელის 46,4%-თან შედარებით, ხოლო MedMCQA-ს განმარტებებიდან მოძიებულმა კონტექსტმა არც ერთ მოდელზე სტატისტიკურად მნიშვნელოვანი გაუმჯობესება არ გამოიწვია. კვლევაში მოდელის ზომა, მოთხოვნის შაბლონი, გენერირების პარამეტრი და შეფასების წესი კონტროლდებოდა.

შედეგები ერთმანეთს პირდაპირ არ აუქმებს: მიმოხილვა სხვადასხვა სამედიცინო ამოცანას აჯამებს, კონტროლირებული ცდა კი დახურული არჩევანის ერთ ტესტსა და კონკრეტულ საძიებო კორპუსს იყენებს. იქ წარმატება სწორი ვარიანტის არჩევას ნიშნავს; შიდა დოკუმენტებზე მუშაობას ხშირად დასაბუთებული თავისუფალი პასუხიც სჭირდება. ამასთან, ცდაში უკეთესი შედეგი დომენზე უკვე მორგებულ მოდელს ჰქონდა. ეს არ ნიშნავს, რომ ნებისმიერი გუნდი საკუთარი მონაცემებით იმავე შედეგს მიიღებს.

როგორ შეადაროთ სისტემები საკუთარ ამოცანაზე

შეკრიბეთ სამუშაოსთვის დამახასიათებელი კითხვები და სწორი პასუხები, მათ შორის შემთხვევები, რომლებზეც დოკუმენტის განახლება მოქმედებს. სასწავლო და შეფასების ნაკრებები განცალკევებული უნდა იყოს, რათა ნაცნობ მაგალითებზე გაუმჯობესება რეალურ სარგებლად არ ჩაითვალოს. RAG-ს, საწყის მოდელსა და გაწვრთნილ ვარიანტს ერთი და იგივე მოთხოვნები მიეცით და შეფასების წესი წინასწარ განსაზღვრეთ.

მოძიებისთვის ცალ-ცალკე ჩაიწერეთ, გამოჩნდა თუ არა საჭირო მონაკვეთი, დაეყრდნო თუ არა პასუხი მას და სწორია თუ არა მითითებული წყარო. ქცევის სწავლისთვის გაზომეთ სავალდებულო ფორმატის დაცვა, ამოცანის შესრულება და გამონაკლისების დამუშავება. ორივე გზისთვის შეადარეთ პასუხის დრო და ერთი მოთხოვნის ხარჯი; RAG-ს საცავის მოვლაც ემატება, fine-tuning-ს კი მაგალითების მომზადება და მოდელის ახალი ვერსიების შეფასება.

თუ ფაქტი სწორად მოიძებნა, მაგრამ პასუხი მაინც არღვევს აუცილებელ სტრუქტურას, გაერთიანებულმა მიდგომამ შეიძლება დამატებითი სარგებელი მოიტანოს. თუ პასუხი ძველ ან შეუსაბამო მონაკვეთს ეყრდნობა, ჯერ დოკუმენტების განახლებისა და მოძიების ხარისხია შესაცვლელი. ამ განსხვავების გაზომვა გუნდს საშუალებას აძლევს, არქიტექტურა საკუთარი სამუშაოს შედეგით აირჩიოს.

ასევე წაიკითხეთ:

• RAG თუ fine-tuning: მოძველებადი ცოდნის ჩაწვრთნა ხშირად ძვირი შეცდომაა
• NetScaler-ის ორი კრიტიკული ხარვეზი უკვე გამოიყენეს — განახლება საკმარისი არაა
• Dealroom თუ Crunchbase: ერთი ბაზა დაფინანსების ყველა რაუნდს ვერ ხედავს