„StudentSim“ pranoko GPT‑5.4, bet klasėse dar netaikomas

2026 m. spalio 12 d. „Microsoft Research“ paskelbė „StudentSim“ tyrimo paaiškinimą ir kodą: pagal atskirų žmonių mokymosi įrašus pritaikytas simuliatorius šachmatų bandyme geriau nei GPT‑5.4 atkartojo žaidėjų ėjimus ir reagavo į pagalbą. Sistema skirta DI mokytojų tyrimams, klasėse ji nediegta. Ar toks grįžtamasis ryšys pagerina tikrų mokinių mokymąsi, dar reikia ištirti.

„Tech Beat“ spalio 12 d. apžvalgoje nurodoma, kad naudojant „StudentSim“ grįžtamąjį ryšį mokyto DI mokytojo tikslumas ekspertų vertinime siekė 90,5 %, palyginti su 75,7 % be tokio papildomo mokymo ir 71,6 % naudojant GPT‑5.4 kaip simuliatorių. Tikslumas čia reiškia paaiškinimų, kuriuose nebuvo aktyviai klaidinančios faktinės klaidos, dalį. Ekspertai vertino mokytojo atsakymus, o ne mokinių pažangą po pamokų.

Kaip „StudentSim“ atkuria konkretaus besimokančiojo elgesį

Bendrojo kalbos modelio galima paprašyti atsakinėti tarsi mokiniui. Toks modelis gali suprasti užuominą ir sklandžiai pakeisti atsakymą, tačiau tai dar nereiškia, kad jis išlaiko konkretaus žmogaus gebėjimų ribas ar jam būdingas klaidas. Jeigu tariamas mokinys užduotį išsprendžia lengviau už tikrąjį, DI mokytojui jo reakcija duoda klaidingą signalą apie paaiškinimo naudą.

„StudentSim“ mokomas iš tyrimams prieinamų nuasmenintų įrašų. Pirmiausia vieno dalyko besimokančiųjų atsakymai sujungiami, kad modelis perimtų įprastus atsakymų, klaidų ir taisymų dėsningumus. Tada jis atskirai pritaikomas vieno žmogaus įrašams. Ši tvarka leidžia remtis bendrais duomenimis ten, kur individualių pavyzdžių mažai, ir kartu prognozuoti ne vien vidutinio besimokančiojo elgesį.

Simuliatorius atlieka mokinio vaidmenį: gauna užduotį, pateikia tikėtiną atsakymą, o po pagalbos gali jį pakeisti. DI mokytojas yra atskira sistema, kuri pateikia paaiškinimą ir mokymo metu gauna signalą iš simuliatoriaus reakcijos. Tyrimo vertinimas apėmė šachmatų ėjimus, anglų kalbos kaip antrosios kalbos rašymą ir matematikos atsakymus; tai skirtingi uždaviniai, todėl jų balų negalima tiesiogiai laikyti vienu bendru mokymosi rodikliu.

Ką rodo trijų sistemų šachmatų rezultatai

Akademinio darbo rezultatų lentelėse pateikti 30 šachmatų žaidėjų vertinimo duomenys. Elgsenos atitiktis rodo, kaip dažnai simuliatoriaus prognozuotas ėjimas sutampa su konkretaus žaidėjo užfiksuotu ėjimu anksčiau nematytoje pozicijoje. Reagavimas į pagalbą rodo, kaip dažnai po mokytojo paaiškinimo pasirenkamas numatytas pataisytas ėjimas. Toje pačioje vertinimo schemoje sistemų įverčiai buvo tokie:

„StudentSim“: elgsenos atitiktis 0,515; reagavimas į pagalbą 0,907.
GPT‑5.4: elgsenos atitiktis 0,232; reagavimas į pagalbą 0,719.
„Maia2“: elgsenos atitiktis 0,454; reagavimas į pagalbą 0,272.

Šie įverčiai atsako į du skirtingus klausimus. „Maia2“, sukurtas žmogaus šachmatų ėjimams prognozuoti, gana gerai atspėja pasirinkimus, bet neturi įvesties natūralia kalba pateikiamai pagalbai. GPT‑5.4 gali skaityti paaiškinimą, tačiau prasčiau numatė būtent to žaidėjo pradinį ėjimą. „StudentSim“ šiame bandyme pasiekė aukščiausią abiejų metrikų įvertį.

Skirtumą parodo viena tyrimo šachmatų pozicija: skirtingi žaidėjai pasirinko e4, e3 ir Bg5, o jiems pritaikyti „StudentSim“ modeliai atkartojo visus tris pasirinkimus. „Maia2“ visiems prognozavo tą patį ėjimą, o pagal žaidėjų istoriją paragintas GPT‑5.4 nė vieno neatspėjo. Tai konkretaus pavyzdžio iliustracija; bendrą palyginimą nusako visų vertintų pozicijų įverčiai.

Reagavimo į pagalbą balas turi siauresnę reikšmę, nei gali atrodyti. Šachmatų užduotyje pataisytas ėjimas lygintas su šachmatų variklio parinktu ėjimu, o matematikos užduotyje – su teisingu atsakymu. Šie tikslai leidžia nuosekliai vertinti simuliatoriaus reakciją, tačiau neparodo, kaip tas pats tikras žmogus būtų sureagavęs į tokį patį paaiškinimą. Be to, šachmatų konfigūracijoje „StudentSim“ gavo „Maia2“ siūlomų tikėtinų ėjimų sąrašą, kurio GPT‑5.4 užklausa negavo.

Ką ekspertai vertino DI mokytojo bandyme

Atskiras šachmatų eksperimentas tikrino, ar simuliatoriaus reakcija gali padėti mokyti patį DI mokytoją. Mokytojas gaudavo poziciją ir užfiksuotą klaidingą žaidėjo ėjimą, tada pateikdavo paaiškinimą. Nekeičiamas simuliatorius pasiūlydavo naują ėjimą, o šachmatų variklis įvertindavo jo kokybės pokytį. Šis signalas buvo naudojamas mokytojo mokymui, po kurio šachmatų ekspertai, nežinodami mokymo sąlygos, vertino jo paaiškinimus.

Ekspertai geriausiai įvertino mokytoją, mokytą su „StudentSim“ grįžtamuoju ryšiu: jo atsakymai rečiau turėjo aktyviai klaidinančių faktinių klaidų, taip pat aukščiau įvertinta pagalbos kokybė ir pritaikymas nurodytam mokymo stiliui. Vis dėlto rezultatas priklauso visai mokymo konfigūracijai. Šalia simuliatoriaus joje veikė papildomi komponentai, vertinę mokymo stilių ir tai, ar paaiškinimas atitinka šachmatų poziciją; GPT‑5.4 sąlyga tokių komponentų neturėjo.

Šiam mokytojo eksperimentui naudota bendra „StudentSim“ dalis, išmokyta iš daugelio žaidėjų, o ne kiekvienam žmogui atskirai pritaikytas simuliatorius. Todėl geresnio ekspertų įvertinimo negalima priskirti vien individualizavimui. Bandymas parodė, kad mokinių elgesio modelis gali būti naudingas kaip mokytojo mokymo signalas konkrečioje šachmatų užduotyje.

Kodėl bandymo dar negalima perkelti į klasę

Vertinimas apima pavienį atsakymą ir jo pakeitimą po pagalbos. Tikras mokymasis vyksta ilgiau: žmogus žinias įgyja, išlaiko, pamiršta ir taiko naujose situacijose. Šių pokyčių ir ilgalaikio DI mokytojo poveikio „StudentSim“ rezultatai nematuoja. Šachmatų bei matematikos reagavimo užduotyse paaiškinimų tekstas taip pat buvo sugeneruotas pagal iš anksto nustatytą teisingą atsakymą, todėl įvertis nėra stebėtas tikro mokinio atsakas į mokytojo pagalbą.

Lietuvos mokykloms paskelbti rezultatai kol kas reiškia naują tyrimų įrankį, o ne parengtą mokymo sistemą. Prieš sprendžiant apie naudojimą klasėje reikės tyrimų su tikrais mokiniais, kurie palygintų simuliatoriaus prognozes su žmonių reakcijomis ir įvertintų vėlesnę mokymosi pažangą, saugumą bei tinkamumą mokyklos aplinkai. Būtent tokie duomenys parodytų, ar šachmatų bandyme naudingas grįžtamasis ryšys išlieka naudingas mokantis su DI mokytoju.

Taip pat skaitykite: