StudentSim preizkuša učitelje UI pred študijami z učenci

Microsoft Research je 12. oktobra 2026 predstavil StudentSim, raziskovalni sistem, ki posnema odgovore posameznih učencev in njihov odziv na učne namige. Z njim lahko razvijalci preizkusijo učitelja UI, preden njegove nasvete ocenijo resnični učenci. StudentSim je raziskovalno orodje, ne izdelek za šole; v učilnicah ni uveden in ni namenjen nadomestitvi učiteljev.

V raziskovalnem članku je opisan preizkus na 60 učencih s področij šaha, pisanja v angleščini kot tujem jeziku in matematike: pri šahu je StudentSim dosegel zvestobo 0,51 in odzivnost 0,91, GPT-5.4 0,23 in 0,72, Maia2 pa 0,45 in 0,27. Številki opisujeta vedenje simulatorja na preizkusnih nalogah, ne učnega napredka otrok. Raziskava vključuje tudi preizkus izboljševanja šahovskega učitelja UI, kjer so kakovost nasvetov ocenjevali šahisti.

Kako StudentSim ustvari simuliranega učenca

Posamezen učenec običajno pusti premalo zapisov, da bi bilo smiselno zgraditi model samo iz njegovih odgovorov. StudentSim se zato najprej uči iz združenih zapisov več učencev istega področja, nato se prilagodi preteklim odzivom konkretnega posameznika. Prvi del prinese vzorce nalog, napak in popravkov, drugi pa modelu določi, katere poteze ali napake so značilne za učenca, ki ga predstavlja.

Preizkus temelji na javnih raziskovalnih zbirkah z odstranjenimi neposrednimi identifikatorji. Pri šahu izhaja iz položajev na plošči in dejanskih potez igralcev, pri pisanju iz sestavkov učencev angleščine in učiteljskih popravkov, pri matematiki pa iz odgovorov na naloge. Prilagojeni model dobi novo nalogo ter napove učenčev odgovor; ob namigu mora pokazati še, kako bi se odgovor lahko spremenil. Različne naloge pomenijo tudi različna pravila ocenjevanja.

Pri pisanju so popravki nastali iz opomb resničnih učiteljev, pri šahu in matematiki pa so besedilo učnih namigov za raziskovalne zapise pripravili jezikovni modeli na podlagi znanega napačnega in ciljnega odgovora. Zato odziv simulatorja na teh dveh področjih kaže ravnanje ob tako sestavljenem namigu. Ne gre za zabeležen pogovor, v katerem bi se isti učenec po vsakem namigu znova odzval.

Kaj pomenita zvestoba in odzivnost

Vedenjska zvestoba pri šahu pomeni, da simulator na še nevidenem položaju napove potezo prav tistega igralca, čigar pretekle igre pozna. Če igralec naredi napako, je za to merilo pravilna napoved napake, ne poteze, ki bi jo izbral šahovski pogon. Pri pisanju se namesto posamezne poteze primerjata pogostost in vrsta napak v sestavku; pri matematiki model izbira možnost, ki jo je izbral učenec.

Odzivnost na usmerjanje meri, ali simulator po razlagi spremeni odgovor proti vnaprej določenemu popravku. Pri šahu je cilj poteza, ki jo določi pogon, pri pisanju popravljeni odlomek, pri matematiki pravilni odgovor. Visoka ocena zato pomeni, da simulacija sledi učnemu namigu do predvidenega cilja. Sama po sebi ne pove, ali bi isti resnični učenec po takem namigu ravnal enako ali si razlago zapomnil.

Primerjalna modela pojasnita, zakaj raziskovalci spremljajo obe merili. GPT-5.4 se zna odzvati na besedno razlago, a slabše posnema značilno potezo določenega igralca. Šahovski Maia2 bolje napoveduje človeške poteze, vendar nima poti za obdelavo učiteljevega besednega namiga. StudentSim pri šahu med vhodi prejme tudi predloge potez modela Maia2, ki jih GPT-5.4 ne prejme; razlika med rezultati zato vključuje tudi učinek teh vhodov. Šahovskih vrednosti ni smiselno neposredno primerjati z ocenami pisanja, kjer je zvestoba opredeljena drugače.

Kaj je pokazal preizkus šahovskega učitelja

Raziskovalci so preverili še, ali simulirani odziv lahko pomaga pri učenju samega učitelja UI. Postopek začnejo z zabeleženo napačno potezo, učitelj napiše namig, zamrznjeni simulator predlaga popravljeno potezo, šahovski pogon Stockfish pa oceni spremembo kakovosti poteze. Povratni signal nato vpliva na nadaljnje učenje učitelja. Takšno ocenjevanje je v šahu izvedljivo, ker je mogoče položaj in poteze razmeroma natančno preveriti.

Analiza SXZ povzema slepo ocenjevanje osmih šahistov s 74 ocenami: učitelj, učen s povratnim signalom StudentSima, je pri točnosti nasvetov dosegel 90,5 %, različica brez dodatnega učenja 75,7 %, različica s simulatorjem GPT-5.4 pa 71,6 %. Točnost pomeni delež razlag brez zavajajoče stvarne napake, ne deleža učencev, ki so se kaj naučili. Ocenjevalci so višje ocenili tudi kakovost usmerjanja in prilagojenost nasvetov.

Pri tem preizkusu je povratni signal dajal skupni, še ne posameznemu igralcu prilagojeni StudentSim. V različici z njim sta bila poleg kakovosti popravljene poteze vključena še ocena učnega sloga in preverjanje, ali razlaga pravilno opisuje ploščo; pri primerjavi z GPT-5.4 teh dodatkov ni bilo. Rezultat zato pripada celotni zasnovi povratnega signala. Ocenjevanje šahistov pove nekaj o kakovosti razlage na danem položaju, ne pa o poznejšem učenju resničnega učenca.

Kaj je pomembno za uporabo v Sloveniji

Za slovensko ustanovo je prva razlika med objavljeno raziskavo in lokalno uporabo izvor učnih zapisov. Raziskava uporablja javne zbirke brez neposrednih identifikatorjev, prilagoditev na zapise domačih učencev pa bi odprla vprašanja, katere podatke ustanova zbira, kako jih hrani in kdo lahko dostopa do modela, izpeljanega iz odgovorov posameznika. Raziskovalna zaščita obstoječih zbirk sama ne določa pravil za novo zbiranje občutljivih šolskih podatkov.

Druga razlika je jezik. Preizkus pisanja obravnava angleščino kot tuji jezik, ne slovenskih sestavkov; tudi namigi pri drugih nalogah so bili zasnovani v angleščini. Prenos na slovenske naloge bi zahteval primerjavo modelovih napovedi z dejanskimi odzivi slovenskih učencev in preverjanje, ali se smiselno odzivajo na razlago v slovenščini. Šahovska kakovost namiga ne more nadomestiti presoje, ali otrok razume matematični postopek ali popravek svojega besedila.

Odločilni naslednji podatek za uporabo v izobraževanju bodo študije z resničnimi učenci: ali nasveti, izboljšani s simuliranim povratnim signalom, dejansko pomagajo pri razumevanju in trajnejšem znanju. Do takrat StudentSim razvijalcem daje zgodnji raziskovalni signal, šolam pa še ne meritve učnega učinka v razredu.

Preberite tudi: