AI-svarið lítur rétt út — fjögur próf finna veikleikana

Í leiðbeiningum Microsoft um yfirferð Copilot-svara eru fjögur próf fyrir svar sem á að deila eða nota við ákvörðun: rekja það til heimilda, staðfesta lykilatriði, kanna samhengi og sjá hvort niðurstaðan standist breyttar aðstæður. Prófin geta leitt í ljós veikleika þótt svarið sé skýrt og sannfærandi.

Byrjaðu á þeirri fullyrðingu sem hefði mestar afleiðingar ef hún væri röng. Opnaðu gögnin sem hún á að byggjast á og skildu á milli þess sem þau segja, þess sem hefur verið staðfest sjálfstætt og þess sem svarið ályktar. Svar getur staðist fyrstu athugun en samt verið óhæft í vinnuskjal ef undantekning vantar eða ráðleggingin byggist á óstaðfestri forsendu.

Próf 1: Segir heimildin þetta í raun?

Finndu frumgagnið á bak við mikilvægustu setninguna: skýrsluna, töfluna, fundargerðina eða gildandi leiðbeininguna sem svarið vísar til. Opnaðu viðeigandi kafla í réttri útgáfu, ekki aðeins tilvísunina eða útdrátt sem gervigreindin samdi. Berðu saman orðalagið, hópinn sem fjallað er um og tímabilið áður en þú samþykkir fullyrðinguna.

Það að skjal sé til staðar sýnir ekki að það styðji niðurstöðuna. Svar getur vísað í raunverulegt skjal en breytt varfærinni niðurstöðu í afdráttarlausa fullyrðingu, eða látið umræðu um mögulega aðgerð hljóma eins og samþykkta ákvörðun. Lagfærðu þá orðalagið eftir frumgagninu. Ef ekki er hægt að rekja lykilfullyrðingu til þess sem hún á að byggjast á skaltu merkja hana óstaðfesta og sleppa henni úr texta sem á að senda áfram.

Próf 2: Standast lykilatriðin sjálfstæða athugun?

Taktu út þau atriði sem gætu breytt niðurstöðu ef þau reynast röng: tölur, nöfn, dagsetningar, tilvitnanir og stöðu samþykkis eða ákvörðunar. Leiðbeining breska þingbókasafnsins ráðleggur að bera slíkar staðhæfingar saman við frumgögn eða traustar heimildir, kanna hvort upplýsingarnar séu enn gildar og leita sjálfstæðrar staðfestingar. Skráðu hvað tókst að staðfesta og hvað bíður frekari athugunar.

Heimildaprófið og staðreyndaprófið svara ólíkum spurningum. Heimildin getur fjallað um rétt efni þótt talan í svarinu sé röng; talan getur líka verið rétt en átt við annað tímabil eða annan hóp. Athugaðu nefnara hlutfalls, mælikvarða og dagsetningu gagnanna. Ef svarið reiknar niðurstöðu úr þeim skaltu endurreikna hana út frá staðfestum inntaksgögnum áður en niðurstaðan verður hluti af ákvörðunargögnum.

Í bandarískri könnun meðal 1.503 þátttakenda sögðust margir kanna gervigreindarsvör með samanburði við aðrar netheimildir. Þetta eru svör þátttakenda um eigin venjur, ekki mæling á því hve oft slík athugun finnur villu. Við vinnuyfirferð skiptir því máli að hin heimildin hafi sjálfstæð gögn; endurbirting sömu fullyrðingar bætir engu við staðfestinguna.

Próf 3: Hvaða samhengi vantar?

Lestu í kringum staðfestu setninguna og leitaðu að skilyrðum, undantekningum, áhættu og óvissu sem svarið sleppti. Spyrðu hvort niðurstaðan eigi við alla eða aðeins tiltekinn hóp, stað eða tíma. Samantekt getur haft réttar einstakar setningar en samt gefið villandi heildarmynd ef hún sleppir atriði sem myndi breyta ákvörðun lesandans.

Settu fyrirvara við niðurstöðuna þar sem lesandinn sér hann, í stað þess að fela hann aftast. Orð eins og „alltaf“, „allir“ og „örugglega“ þurfa sérstaka athugun þegar gögnin lýsa meðaltali, líkum eða niðurstöðu með skilyrðum. Ef textinn fer til fólks sem þekkir ekki upprunalega verkefnið þarf einnig að skýra þau hugtök og mörk gagnanna sem höfundum frumskjalsins þóttu sjálfsögð.

Próf 4: Heldur ályktunin þegar forsendur breytast?

Þegar heimildir og lykilstaðreyndir hafa verið yfirfarnar skaltu prófa sjálfa ráðlegginguna. Veldu forsendu sem hún veltur á og spurðu hvað gerist ef hún stenst ekki: samþykki liggur ekki fyrir, gögnin ná aðeins til hluta markhópsins eða tímasetning færist. Breytist ráðleggingin, eða gildir hún aðeins við þrengri aðstæður? Nefndu skilyrðið berum orðum ef svarið veltur á því.

Prófaðu einnig hvernig annar markhópur gæti skilið niðurstöðuna. Setning sem dugar sem vinnutilgáta í innri umræðu getur hljómað eins og heimild til aðgerða í skilaboðum til viðskiptavinar. Ef ráðleggingin fellur við einfalda breytingu á forsendu þarf að afmarka hana og staðfesta skilyrðið áður en aðgerð er tekin.

Þrjár gerðir svara, sömu próf

Töluleg fullyrðing: Í ímynduðu svari stendur að tiltekið hlutfall hafi hækkað. Finndu upprunalegu töfluna og athugaðu hvort svarið lýsi henni rétt. Staðfestu síðan hlutfallið og tímabilið sjálfstætt, skoðaðu hvaða hópar eru bornir saman og kannaðu hvort niðurstaðan haldi þegar mælikvarðinn er skilgreindur eins og í frumgögnunum. Hlutfall án skýrs nefnara segir lesandanum of lítið til að styðja ákvörðun.

Samantekt: Ef gervigreind dregur saman fundargerð skaltu rekja mikilvægustu atriðin til staðanna þar sem þau koma fram. Berðu sérstaklega saman það sem var rætt, það sem var ákveðið og það sem var látið bíða. Staðfestu nöfn og ábyrgðaraðila, bættu við áhættu eða óleystu atriði sem gæti breytt næstu aðgerð og prófaðu hvort lesandi utan fundarins myndi skilja stöðu málsins rétt.

Ráðlegging: Ef svarið leggur til að verkefni hefjist skaltu rekja forsendur tillögunnar til gagna og staðfesta þau atriði sem ráða úrslitum. Skoðaðu hvort samþykki, mannafli eða gildandi verklag sé nauðsynlegt og hvort eitthvað af því sé enn óljóst. Prófaðu síðan ráðlegginguna án einnar slíkrar forsendu. Ef hún stenst ekki skaltu setja hana fram sem skilyrta tillögu fremur en tilbúna ákvörðun.

Hvenær þarf sérfræðiyfirferð?

Fáðu þann sem ber faglega ábyrgð á efninu til að fara yfir svarið þegar það túlkar lög, reglur eða samninga, varðar viðkvæmar persónuupplýsingar eða getur haft veruleg áhrif á fólk, fjármuni eða þjónustu. Sama á við þegar heimildir stangast á, lykilgögn vantar eða matið krefst sérþekkingar sem þú hefur ekki. Afmarkaðu þá beiðnina: tilgreindu nákvæma fullyrðingu, gögnin sem liggja fyrir og forsenduna sem þarf að meta.

Lestu einnig:

• Mældu leitina og svarið sitt í hvoru lagi — þannig finnst bilunin í RAG