StudentSim prófar AI-kennara — en „nemendurnir“ svöruðu ekki sjálfir

Microsoft Research kynnti rannsóknarkerfið StudentSim 12. október 2026 til að frumprófa gervigreindarkennara með hermdum nemendum. Kerfið er ætlað þróunarvinnu og er ekki vara í kennslustofum. Það á að gefa hraðari vísbendingu um viðbrögð við leiðsögn áður en kennslukerfi eru prófuð með fólki.

Hermarnir læra af skráðum svörum einstaklinga, en lykilmælingin á svörum eftir leiðsögn notar fyrirfram skilgreinda rétta lausn. Í óháðri yfirferð SXZ er bent á að ekkert svar sama raunverulega nemanda eftir sömu ábendingu sé borið saman við hermda svarið. StudentSim getur því stutt frumprófun kennara, en niðurstöðurnar sýna ekki hvernig nemendurnir lærðu af þeim.

Hermarnir byrja á raunverulegum svörum

Í rannsóknargreininni um StudentSim nær matsramminn StudentSimEval til 60 einstaklinga: 30 skákmanna, 15 nemenda í enskri ritun og 15 nemenda í stærðfræði. Skákfærslurnar koma úr leikjum á Lichess, ritgerðir og leiðréttingar úr EFCAMDAT og stærðfræðisvör úr FoundationalASSIST. Gögnin voru fengin úr rannsóknarsöfnum með færslum sem rannsakendur lýsa sem ópersónugreinanlegum; þau eru ekki samfelld athugun á námi í kennslustofu.

Þjálfunin fer fram í tveimur skrefum. Líkanið lærir fyrst sameiginleg mynstur úr svörum margra innan sama sviðs og er síðan aðlagað fyrri færslum eins einstaklings. Þannig verður til hermir sem á að velja svör í samræmi við venjur hans og mistök. Fyrri færslur hvers einstaklings eru takmarkaðar, svo sameiginlega þjálfunin leggur grunninn sem einstaklingsaðlögunin byggir á.

Þessi aðferð svarar afmarkaðri þörf við þróun kennslukerfa. Kennari getur gefið sömu ábendingu við ólíkum upphafssvörum og fengið hermd framhaldssvör án þess að kalla til nýjan hóp nemenda í hvert sinn. Gildi slíkrar tilraunar ræðst þó bæði af því hvort hermirinn líkist nemandanum fyrir leiðsögn og því hvað mælingin á framhaldssvarinu táknar.

Hegðunarlíkindi mæla skráð val, ekki bestu lausn

Hegðunarlíkindi mæla hversu vel hermir endurskapar fyrri svör tiltekins einstaklings við verkefnum sem voru tekin frá við þjálfun. Í skák er spurt hvort hann velji sömu leikfærslu og skákmaðurinn valdi, jafnvel þótt til sé sterkari leikur. StudentSim fékk skorið 0,5150, Maia2 fékk 0,4535 og GPT-5.4 fékk 0,2316. Munurinn er 6,15 prósentustig gagnvart Maia2 og 28,34 stig gagnvart GPT-5.4, reiknað beint úr birtu gildunum.

Skáksamanburðurinn hefur mikilvæga aðferðafræðilega sérstöðu: inntak StudentSim inniheldur lista yfir líklegar leikfærslur frá Maia2, en sá listi var ekki settur í fyrirmæli til GPT-líkananna. Forskotið yfir Maia2 sýnir árangur uppsetningarinnar sem fær meðal annars þessar upplýsingar; það einangrar ekki áhrif einstaklingsaðlögunarinnar einnar. Í dæmi úr greininni völdu þrír raunverulegir skákmenn ólíkar færslur í sömu stöðu og einstaklingsaðlöguðu hermarnir endursköpuðu val hvers þeirra.

Í enskri ritun er mælikvarðinn annar: tíðni og flokkar villna í nýjum texta eru bornir saman við ritun einstaklingsins, ekki orðrétt ritgerð. Í stærðfræði er metið hvort hermirinn velji sama svarmöguleika og nemandinn valdi, líka þegar það svar var rangt. StudentSim fékk 0,5624 í ritun og 0,6384 í stærðfræði, á móti 0,5141 og 0,6121 hjá GPT-5.4. Þessi skor eru sambærileg milli líkana innan hverrar námsgreinar, en mæla ekki sömu tegund svars milli skákborðs, ritgerðar og fjölvalsdæmis.

Leiðsagnarsvörun stefnir að svarlykli

Leiðsagnarsvörun mælir hvort hermir sem byrjaði með rangt svar fari að viðmiðunarlausn eftir ábendingu kennara. Viðmiðið er besti leikur samkvæmt Stockfish í skák, skráð leiðrétting á textabroti í ensku og réttur valkostur í stærðfræði. Það er ekki síðar skráð svar frá sama nemanda við sömu ábendingu. Mælingin segir því hversu oft hermirinn nær því marki sem leiðsögnin á að opna leið að, ekki hversu oft manneskja myndi gera það.

StudentSim fékk 0,9067 í skák, 0,6417 í ritun og 0,9181 í stærðfræði. Sterkasta samanburðarlíkanið í skák fyrir þessa mælingu var GPT-4o með 0,7655, sem er 14,12 prósentustigum lægra. Í ritun og stærðfræði var GPT-5.4 sterkasta samanburðarlíkanið, með 0,5950 og 0,7099. Þessi munur lýsir frammistöðu hermanna gagnvart viðmiðunarlausnunum; hann er ekki mæling á framförum fólksins sem upphaflegu svörin komu frá.

Ábendingarnar voru ekki allar af sama tagi. Í ensku byggðist marksvörunin á leiðréttingum sem fylgdu ritgerðum nemenda, en texti ábendinganna var settur saman með sniðmátum. Í skák og stærðfræði voru ábendingar myndaðar út frá mistökum og þekktri lausn. Sumar nefndu leiðréttinguna skýrt, aðrar spurðu leiðandi spurninga. Í skák náði StudentSim 0,9959 þegar ábendingin sagði til um leiðréttinguna, en 0,7649 við sókratískar spurningar. Það skiptir máli fyrir túlkun heildarskorsins hversu mikið af svarinu fylgir kennslunni sjálfri.

Mannlega matið sýndi betri skákleiðsögn á þröngu prófi

Rannsakendur notuðu herminn líka til að þjálfa gervigreindarkennara fyrir skák. Kennarinn gaf ábendingu við skráðri rangri leikfærslu, hermir valdi nýjan leik og Stockfish mat breytinguna á stöðunni. Átta skákmenn mátu síðan ráðleggingar kennaranna í blindu: 74 matsfærslur náðu til 30 skákstaða. Þeir mátu texta kennarans, ekki svör eða námsárangur skákmannanna eftir að hafa fengið leiðsögnina.

Í þessu mati voru 90,5% svara frá kennaranum sem fékk StudentSim-tengda umbun án alvarlegrar, villandi staðreyndavillu. Hlutfallið var 75,7% hjá kennara án styrkingarnáms og 71,6% þegar GPT-5.4 lék nemanda í umbunarkerfinu. Munurinn gagnvart kennaranum án styrkingarnáms er 14,8 prósentustig. StudentSim-uppsetningin fékk einnig hæstu einkunnir fyrir gæði leiðsagnar og aðlögun í þessu skákmati.

Umbun kennarans í StudentSim-tilrauninni byggðist þó ekki á hermdum leik einum. Við hana bættust þættir sem mátu kennslustíl og hvort útskýringin lýsti skákstöðunni rétt; þeir voru ekki hluti af umbuninni með GPT-5.4. Mannlega matið sýnir því árangur þessarar heildaruppsetningar á afmörkuðum skákstöðum, en skilur ekki eftir sjálfstæða mælingu á framlagi hermisins einum. Fyrir þróun kennara er næsta afgerandi gagnasafn skráð svar frá raunverulegum nemanda eftir sömu leiðsögn, svo hægt verði að bera spá hermisins við það sem nemandinn gerir sjálfur.

Lestu einnig:

• ChatGPT eða Microsoft 365 Copilot: gögnin ráða valinu, ekki líkanið
• Loom eða Clipchamp: skjáskilaboð og myndvinnsla eru ekki sami hlutur
• Signal eða WhatsApp: sama grunnkóðun verndar ekki sömu gögn