AI tegi konsultandid 25% kiiremaks, kuid ühe ülesande täpsus langes

Boston Consulting Groupi 758 konsultandiga eelretsenseeritud katses tegid GPT-4 kasutajad sobivaid töid keskmiselt umbes 25% kiiremini (täpne näitaja oli 25,1%) ja lõpetasid 12,2% rohkem ülesandeid; eraldi strateegiaülesandes oli õigete vastuste osakaal keskmiselt 19 protsendipunkti väiksem. Teadmustöös sõltub AI kasu seega ülesandest: piiritletud töö võib valmida kiiremini ja paremini, kuid mitmest allikast sõltuv otsus vajab sõltumatut sisulist kontrolli.

Sama konsultandi tööpäevas võivad need ülesanded vahelduda. Juhil on seetõttu kasulikum otsustada AI kasutamise ja kontrolli üle tööetapi, sisendite ning võimaliku vea mõju järgi kui määrata kogu ametile üks ühine reegel.

Mida katses võrreldi

Osalejad jagati pärast esmast hindamist rühmadesse, kes töötasid ilma AI-ta, mudeli abil või mudeli abil pärast kasutusjuhendust. Sobivateks valitud ülesannetes arendasid nad nišiturule mõeldud jalatsiideed, liigendasid turgu ja koostasid turuletoomise tekste. Tulemusi hinnati muu hulgas loovuse, analüüsi, kirjutamise ja veenvuse järgi. AI-ga töötanud rühmades valmis rohkem tööd kiiremini ning vastused said kõrgema kvaliteedihinde.

Teises katseharus tuli anda hüpoteetilisele ettevõttele kasvusoovitus. Konsultandid pidid valima suurima kasvupotentsiaaliga kaubamärgi, ühendades finantsandmed ettevõtte töötajate intervjuudest saadud tähelepanekutega. Selles ülesandes mõõdeti eraldi, kas valik oli õige. Nii ilmnes vahe sujuvalt esitatud põhjenduse ja põhjendatud otsuse vahel: AI abil kirjutatud soovitus võis hindajatele tunduda veenvam ka siis, kui valitud kaubamärk oli vale.

Keeruline ülesanne oli teadlikult valitud tollase mudeli võimekuspiirist väljapoole. See katse ei anna kõigi strateegiaotsuste veamäära, kuid näitab konkreetselt, miks kirjutamisülesannete ajavõitu ei saa kanda üle igale konsultandi tööetapile.

Millal AI võib aega võita

Hea lähtekoht on ülesanne, mille eesmärk, sisend ja vastuvõetava tulemuse tunnused on enne alustamist selged. Näiteks võib AI aidata koostada etteantud faktidest esimese sõnastuse, pakkuda määratletud sihtrühmale mitu ideed või liigendada materjali kokkulepitud küsimuste järgi. Töö tegija saab siis võrrelda väljundit lähteülesandega ja parandada kõrvalekalded.

OECD katsete ülevaate järgi ilmneb tootlikkuse kasv sageli selgelt piiritletud kirjutamis- ja programmeerimisülesannetes, kuid tulemus sõltub ka kasutaja oskusest väljundit hinnata. Ülevaates käsitletud pikkade õiguslike tekstide kokkuvõtted võisid saada hea üldhinnangu ja sisaldada siiski sisulisi vigu. Sellise kokkuvõtte puhul tuleb kontrollida järeldusi ja erandeid algmaterjali vastu, sest ladus sõnastus ei näita, kas oluline tingimus jäi välja.

Piiritletud analüüsis saab AI pakkuda võimalikke seoseid või küsimusi, mida andmetest edasi otsida. Kui järgmine tööetapp on otsustada, millise selgituse põhjal tegutseda, muutub ka kontrolli eesmärk: vaja on veenduda andmete päritolus, arvutustes ja selles, kas mõni teine tõlgendus muudaks otsust.

Miks strateegiline valik vajab tugevamat kontrolli

Konsultantide kasvupotentsiaali ülesandes näisid arvandmed üksi piisavad, kuid intervjuudes oli teavet, mis muutis nende tõlgendust. Just selline hajutatud tõend muudab AI vastuse riskantseks: ühtne ja usutav jutustus võib toetuda puudulikule valikule sisendist. Kontrollija peab teadma, milline tähelepanek võiks esialgse järelduse ümber lükata.

Seepärast on suure mõjuga valiku puhul mõistlik lasta vastutaval spetsialistil esmalt ise sõnastada otsustuskriteerium ning leida seda toetavad ja nõrgestavad tõendid. Seejärel saab ta võrrelda oma järeldust AI pakutuga. Lahknevuse korral tuleb läbi vaadata andmed ja eeldused, mitte valida ladusamalt kirjutatud soovitus.

Kontrolli tugevust määrab ka vea tagajärg. Sisemise ideekavandi puuduv nüanss on tavaliselt parandatav enne kasutamist; kliendile antud vale kasvusoovitus võib suunata tähelepanu ja ressursid valele kaubamärgile. Need on näited erineva mõjuga tööetappidest, mitte katses mõõdetud rahalisest kahjust.

Ülesandepõhine kontrollkaart

Meeskond saab korduvate tööde jaoks kirja panna soovitud väljundi, lubatud sisendid, peamise vea ja inimese, kes tulemuse kinnitab. Järgnev jaotus on töökorralduse soovitus, mitte katses proovitud valmisreegel.

Piiritletud kirjutamine ja ideede loomine. Kui faktid, sihtrühm ja vorm on antud, võib AI koostada mustandi või pakkuda variante. Enne saatmist kontrollib inimene väiteid, sobivust ja olulisi väljajätmisi.
Analüüs teadaolevate andmete põhjal. AI võib pakkuda võimalikke seoseid ja küsimusi. Analüütik kontrollib arvutused algandmetest, eristab vaatlust oletusest ning märgib, milline järeldus vajab lisatõendit.
Ebaselge strateegiline valik. Kui otsus ühendab arve, intervjuusid ja vastuolulisi signaale, on AI vastus üks võimalik hüpotees. Vastutav spetsialist teeb sõltumatu tõendikontrolli ja kinnitab lõppsoovituse.

Jaotus käib ülesande, mitte ametinimetuse kohta. Sama analüütik võib ühel päeval koostada vähese riskiga mustandi ja järgmisel hinnata otsust, mille õigsus sõltub väikesest, kuid määravast tähelepanekust. Ülesande kontrollitaset tuleb uuesti hinnata, kui muutuvad sisendid, kasutatav mudel või otsuse tagajärjed.

Mõõda ajavõitu koos vigadega

AI kasu hindamisel tuleb võrrelda sama liiki ülesandeid. Valmimisajale tuleb liita aeg, mis kulub väljundi kontrolliks ja parandamiseks; muidu võib kiire mustand paista tootlikkuse kasvuna ka siis, kui lõpptöö võtab sama kaua. Samal põhjusel ei näita valminud mustandite arv üksi, kui palju kasutuskõlblikku tööd meeskond tegelikult sai.

Kvaliteedinäitaja peab vastama töö eesmärgile. Kirjutamise puhul sobivad ette määratud faktitäpsuse ja sihtrühmale vastavuse kriteeriumid, andmeanalüüsis kontrollitud arvutused ja väited, strateegilises valikus aga kokkulepitud otsustuskriteeriumile vastav soovitus. Eraldi tasub märkida vead, mis jõuavad järgmisse tööetappi või kliendini: need näitavad, kas kontroll peatas tagajärjega eksimuse.

Kui kiire ideeloome ja harvad, kuid mõjukad valed otsused liita üheks keskmiseks, kaob mõlema ülesandeliigi tulemus vaateväljast. Tööjaotuse otsustamiseks on vaja näha eraldi, kus AI säästab aega ka pärast kontrolli ning kus sõltumatu inimhinnang muudab lõpptulemuse õigeks.

Loe ka: