Clef tekur ákvörðun á 38,8 ms — viðmiðin eru þó frá Cloudflare

Í útgáfukynningu Cloudflare frá 1. október 2026 eru Clef og Clef-flash kynnt sem opin ákvörðunarlíkön; þar mældist miðgildissvartími Clef-flash 38,8 ms, á móti 524,1 ms hjá Jev í samanburði fyrirtækisins. p95-gildin í sömu mælingum voru 122,4 ms fyrir Clef-flash og 536,0 ms fyrir Jev. Þetta eru niðurstöður Cloudflare fyrir afmarkaða ákvörðun, ekki loforð um svartíma hverrar beiðni eða heils sjálfvirks verkferlis.

Breytingaskrá Workers AI frá 1. október 2026 tilgreinir að Clef hafi 27 milljarða stika, Clef-flash 9 milljarða og bæði 64 þúsund tákna samhengisglugga; líkönin eru aðgengileg á Workers AI og vigtir þeirra birtar á Hugging Face undir Apache 2.0 leyfi. Þau má því nota í þjónustu Cloudflare eða keyra með opnu vigtunum í eigin umhverfi. Verkefni þeirra er að meta fyrirfram skilgreinda svarmöguleika og skila líkum fyrir þá, fremur en að skrifa opið svar.

Clef velur úr skilgreindum svörum

Ákvörðunarlíkan fær inntak og spurningar sem skilgreina leyfð svör. Ein spurning getur kallað á já eða nei, önnur val á milli nafngreindra flokka og sú þriðja mat á röðuðum kvarða. Svarið er bundið við þessa gerð og inniheldur líkur sem forrit getur notað til að velja næstu aðgerð. Almennt mállíkan getur hins vegar myndað frjálsan texta og útskýringar sem þarf að túlka áður en forrit byggir aðgerð á þeim.

Tökum skilyrt dæmi um þjónustuerindi sem á að fara til greiðslumála, tækniaðstoðar eða sölu. Niðurstaðan gæti verið 0,82 fyrir tækniaðstoð, 0,11 fyrir greiðslumál og 0,07 fyrir sölu. Þessar tölur eru tilbúnar til að sýna lögun svarsins; þær eru ekki prófniðurstaða Clef. Forrit gæti sent erindið til tækniaðstoðar samkvæmt eigin reglu, en líkanið ákveður ekki sjálft hvort óvissan sé ásættanleg eða hvort mannleg yfirferð sé nauðsynleg.

Þessi aðgreining skýrir hvers vegna líkönin henta ákvörðunum sem þegar hafa skilgreinda útkomu, svo sem að velja flokk eða meta hvort mál eigi að fara áfram. Ef verkefnið krefst nýrrar skýringar, samantektar eða lausnar í orðum þarf annars konar úttak. Vel afmörkuð svör auðvelda forriti að bregðast við niðurstöðunni, en gæði ákvörðunarinnar ráðast líka af því hvort leyfðu valkostirnir nái yfir það sem getur raunverulega komið inn.

Hraðamunurinn fer eftir því hvaða tafir eru bornar saman

Deilt með birtum miðgildum fæst að Jev tók um 13,5 sinnum lengri tíma en Clef-flash í mælingum Cloudflare. Sama reikningur fyrir p95 gefur um 4,4 sinnum lengri tíma. Hlutföllin lýsa því ólíkum hlutum dreifingarinnar: miðgildi skiptir mælingunum í tvo jafnstóra hópa, en p95 sýnir mörkin sem um 95% mældra svara voru við eða undir. Fyrir verkferli sem bíður eftir hverri ákvörðun getur hægari hluti dreifingarinnar skipt meira máli en dæmigerð beiðni.

Hraðaforskot í einu skrefi flyst ekki óbreytt yfir á allt ferlið. Áður en líkanið fær beiðni getur þurft að sækja gögn og undirbúa inntak; á eftir getur þurft að vista niðurstöðu, kalla á aðra þjónustu eða framkvæma aðgerð. Þessi skref bætast við svartíma líkansins. Ef þau taka mestan tíma styttir hraðara líkan heildarbiðina minna en samanburður miðgildanna gæti gefið til kynna.

Jafnvel innan ákvörðunarskrefsins skiptir álag, lengd inntaks og keyrsluumhverfi máli. Opnu vigtirnar gera eigin keyrslu mögulega, en mældur tími á annarri vél eða í annarri þjónustu er ekki sjálfkrafa sá sami og í birtum samanburði Cloudflare. Hraðatalan er því gagnleg þegar bornir eru saman valkostir við aðstæður útgefandans; hún er ekki almenn stærð fyrir hverja uppsetningu.

Gæðatölurnar benda á ólíka styrkleika

Í umfjöllun TestMu AI um birtar niðurstöður kemur fram að Clef-flash fékk 98,76 á BFCL-prófi fyrir nákvæmt val á falli og viðföngum, á móti 98,47 hjá Clef, en 66,77 í macro-F1 á CLINC150+OOS, á móti 97,43 hjá Clef og 89,27 hjá Jev. TestMu AI endursegir hér viðmið Cloudflare; umfjöllunin er ekki sjálfstæð endurmæling á þessum gildum. Því er ekki hægt að lesa hraðaforskotið sem jafnt gæðaforskot í öllum verkefnum.

BFCL mælir afmarkað val á falli og viðföngum. Þar gaf minni gerðin svipaða niðurstöðu og stærra líkanið í birtu prófi. CLINC150+OOS reynir á flokkun þegar sumar fyrirspurnir eiga ekki heima í neinum þekktum flokki. Sá munur skiptir máli í sjálfvirkri beiningu: kerfi sem verður að velja einhvern flokk getur sent óvenjulegt mál ranga leið með mikilli vissu ef það hefur enga nothæfa leið til að hafna valinu.

Macro-F1 dregur saman frammistöðu yfir flokka þannig að stærstu flokkarnir ráða ekki einir heildarniðurstöðunni. Sú tala segir samt ekki hvaða mistök yrðu dýrust í tilteknum verkferli, né hvernig líkanið flokkar íslenskan texta í þeim aðstæðum. Samanburðurinn sýnir hvaða verkefni þarfnast sérstakrar athygli; hann gefur ekki eina gæðaeinkunn sem gildir jafnt fyrir allar ákvarðanir.

Líkurnar þurfa viðmið áður en þær kalla fram aðgerð

Þegar svar er notað til að hrinda af stað aðgerð þarf að ákveða hvað nægar líkur merkja í því verkefni. Hámarkslíkur segja hvaða kost líkanið telur líklegastan, en ekki hversu mikill kostnaður fylgir rangri niðurstöðu. Röng beining venjulegs erindis og röng ákvörðun sem lokar á þjónustu hafa ólíkar afleiðingar. Þröskuldurinn sem ræður sjálfvirkri aðgerð þarf að taka mið af þeim mun.

Einnig skiptir máli hvort líkur líkansins séu kvarðaðar á sambærilegum gögnum: mál sem fá svipaða vissu ættu þá að reynast rétt með svipaðri tíðni. Ef svör með háar líkur eru oft röng í raunverulegum erindum verður tala sem lítur út fyrir að vera örugg veik forsenda fyrir sjálfvirkni. Valkostur fyrir mál utan skilgreindra flokka og leið til mannlegrar yfirferðar breyta því hvað gerist þegar svarið er óvíst.

Opnar vigtir og aðgangur á Workers AI gera kleift að bera líkönin saman við gögn úr eigin verkferli. Sú mæling þarf að ná bæði til þess hversu oft þau velja rétt og hvað tekur við þegar þau velja rangt. Þá sést hvort hraðinn sem Cloudflare birti skilar raunverulegum ávinningi í þeirri ákvörðun sem á að sjálfvirknivæða.

Lestu einnig:

• Tailscale eða Cloudflare Tunnel: einkanet og vefgátt eru ekki sami hlutur
• 50skills sækir 729 milljónir — sjálfvirkni frá Íslandi fær vaxtarfé
• Loom eða Clipchamp: skjáskilaboð og myndvinnsla eru ekki sami hlutur