AtScale’i AI-täpsus kahekordistus, kuid katsetingimused polnud võrdsed

AtScale’i 15. oktoobri uuringuteate järgi paranes seitsme AI-mudeli tulemus BIRD-Interacti 410 äriküsimusel ettevõtte semantilise kihiga 1,7–2,4 korda; AtScale’i president Jay Schuren ütles, et finants- ja operatsioonitöö vajab „consistent, auditable answers”. Tegemist on ettevõtte enda esialgse mõõtmisega: avaldatud vahe kirjeldab mudeli, semantilise kihi ja katsekorralduse kooslust.

Kasvu suurust mõjutab võrdluse ülesehitus. The Weighted Average’i 16. oktoobri analüüs toob välja, et kihiga variandi parim tulemus valiti kolmest jooksust, kihita variandil oli põhivõrdluses üks jooks. Nii sai üks pool rohkem võimalusi õnnestuda; avalik kordaja ei näita eraldi, kui suur osa võidust tuli ühistest ärimääratlustest ja kui suur osa tulemuste valikust.

Mida AtScale’i katse tegelikult võrdles

Katse küsimused puudutasid andmebaasist saadavaid ärivastuseid. Kihita mudel sai skeemi, veergude kirjeldused ja ärisõnastiku, kuid pidi ise koostama päringu ning otsustama, kuidas tabelid ja mõõdikud kokku käivad. Kihiga lahenduses olid ärimõisted, seosed ja arvutused koondatud juhitud semantilisse mudelisse, mille kaudu mudel vastust küsis. See muutis peale mudelile antava teabe ka arvutuse teostajat.

Erinevus on oluline näiteks tulu küsimuse puhul. Sama sõna võib tähistada tellitud, arvele võetud või laekunud summat; lisaks tuleb määrata periood, valuuta ja üksused, mis arvestusse lähevad. Skeemi tundev AI võib kirjutada süntaktiliselt korrektse SQL-päringu, kuid valida teistsuguse ärireegli kui see, mida ettevõte ametlikult kasutab. Semantiline kiht saab vastust ühtlustada siis, kui need reeglid on seal õigesti määratud ja päring kasutab just neid määratlusi.

BIRD-Interact sisaldab ka mitmetähenduslikke küsimusi ja vestlust simuleeritud kasutajaga. Sellises olukorras ei piisa alati sobiva tabeli leidmisest: süsteem peab mõistma, mida küsija soovib, ning vajaduse korral tähendust täpsustama. AtScale’i mõõtmine puudutab seega konkreetset küsimustikku ja lahendust, milles semantiline mudel aitab ärilist tähendust päringuga siduda.

Kitsam küsimuste hulk andis teistsuguse tulemuse

BigDATAwire’i 16. oktoobri käsitluses on BIRD-Interacti kogu testiks 600 ülesannet 22 andmebaasis, millest AtScale vaatles 410 äriküsimust; neist 317 puhul oli kontrollitav vastus ning Claude Sonnet 5 tulemus tõusis selles kitsamas rühmas 46 protsendilt 93 protsendile. Võrdlustest on loodud AtScale’ist sõltumatult, kuid ettevõtte mõõdetud täpsuskasvu ei ole sõltumatult kinnitatud.

Kitsama rühma protsente ei saa asetada laiema rühma kordaja kõrvale ühe mõõdiku kahe esitusena. Kontrollitavate vastustega küsimustele rakendati parandatud hindamist mõlemas variandis ja kihita tulemuse aluseks oli korduste keskmine, samal ajal kui kihiga tulemusena esitati parim jooks. Ülejäänud äriküsimuste hulgas on juhtumeid, mille vastust ei saa samal moel üheselt hinnata. Nende väljajätmine muudab nii nimetajat kui ka seda, millist oskust tulemus kirjeldab.

Vahe puudutab eriti kasutaja täpsustavaid küsimusi. Ebamäärane päring võib nõuda lisaküsimust enne arvutamist; õige vastus sõltub siis peale andmebaasi ja mõõdiku määratluse ka vestluse kulust. Laiema valimi koondtulemus ja üheselt kontrollitavate vastuste protsent käsitlevad eri ulatusega ülesandeid. Seetõttu ei saa kitsama rühma suuremat protsenti lugeda kõigi äriküsimuste tulemusena.

Võrdsustatud piloot eraldaks mõju katsevalikust

Kõige otsem kontroll oleks paariskatse ettevõtte enda korduvate küsimustega. Iga küsimus tuleks anda samale mudeliversioonile nii kinnitatud semantilise mudeliga kui ka ilma selleta, kummaski tingimuses võrdse arvu kordi. Küsimuste järjekord, ajapiirang, kasutatavad kirjeldused ja hindamisreeglid peaksid olema ette määratud. Kui ühes harus on võimalik mitu katset, peab sama võimalus olema ka teises harus.

Enne käivitamist peaksid andme- ja äripoole vastutajad kinnitama, milline arvutus on iga küsimuse puhul õige. Mitmetähenduslikud küsimused võib jätta eraldi rühma ja hinnata, kas süsteem küsis vajaliku täpsustuse, selle asemel et anda kindla tähenduseta vastusele juhuslik õige või vale hinnang. Vastuseid võiks hinnata pimesi: hindaja näeb küsimust, kinnitatud arvutust ja saadud vastust, kuid ei tea, millise tingimuse süsteem selle koostas. See vähendab ohtu, et usutav selgitus kaalub üles vale arvu.

Alles tuleb hoida kõik jooksud, mitte ainult iga küsimuse parim vastus. Nii saab võrrelda tavapärast tulemust, vastuste hajuvust ja korduva vea liiki. Kui semantiline kiht parandab õigete vastuste osakaalu ka võrdsustatud tingimustes, annab see tugevama aluse hinnata selle kasu oma andmetel. Kui vahe väheneb, selgub, kui palju avalikust kasvust võis olla seotud katse valikureegliga.

Täpsuse kõrval on mõõdikute ülalpidamise hind

Ettevõtte semantiline mudel vajab kokkuleppeid selle kohta, mida näiteks klient, tulu ja kasumlikkus igas aruandes tähendavad. Kui finants- ja müügitiim kasutavad sama sõna eri arvutuste kohta, tuleb lahknevus enne ühtse vastuse ootamist lahendada. Selle töö hulka kuuluvad definitsioonide kinnitamine, andmeallikate sidumine, ligipääsureeglid ja muutuste haldamine. Katse täpsusprotsent ei mõõda, kui kalliks need kokkulepped konkreetsele ettevõttele lähevad.

Sama piloot võiks seetõttu salvestada vastuse aja, andmepäringute ressursikulu, täpsustavate küsimuste hulga ja käsitsi parandamise vajaduse. Need on kohaliku võrdluse mõõdikud, mitte AtScale’i avaldatud lisatulemused. Parem vastus võib olla väärtuslik ka siis, kui seda toetab rohkem ettevalmistustööd, kuid finantsjuhi jaoks muutub mõju arusaadavaks alles siis, kui see töö ja hilisem hooldus pannakse täpsuskasu kõrvale.

Kui võrdsustatud katses jäävad parandused püsima ja kinnitatud mõõdikud vajavad vähe käsitsi parandamist, saab andmetiim hinnata ühise arvutuse väärtust. Sama katse näitab ka, kas töö tegelikult väheneb või liigub AI vastuse koostamisest semantilise mudeli pidevasse hooldusse.

Loe ka:

• AI tegi konsultandid 25% kiiremaks, kuid ühe ülesande täpsus langes
• Hübriidtöö vähendas lahkumisi 33%, kuid töökorraldus otsustab tulemuse
• Nägemisillusioon paljastas arvutinägemise puuduse, mida täpsus ei näita