Cloudflare’i Clef-omni otsustab heli ja video põhjal ühe API-kutsega

Cloudflare’i 9. oktoobri 2026 väljalasketeate järgi jõudis Clef-omni Workers AI-sse hinnaga 0,15 dollarit miljoni sisendtokendi kohta. Mudel võtab ühes päringus vastu teksti, pilti, heli ja videot ning tagastab etteantud vastusevariantide tõenäosused. Ettevõte avaldas ka mudeli kaalud; tema näites kestis heliga 21-sekundilise video hindamine umbes 1,5 sekundit.

Arendaja jaoks võib üks kutse asendada heli transkribeerimise, video eraldi analüüsimise ja tulemuste tekstimudelile saatmise, kui eesmärk on valida etteantud vastuste vahel. Väljund on otsustamiseks sobiv struktureeritud vastus, mitte salvestise täielik tekst või vabavormiline kirjeldus. Nii sõltub töövoo muutus eelkõige sellest, millist tulemust rakendus meediast vajab.

Milliseid sisendeid ja otsuseid mudel toetab

Varasem Clef töötles teksti ja pilte ning sai kasutada videokaadrite massiivi. Clef-omni lisab WAV- või MP3-heli ja MP4- või WebM-videofailid. Heli ning videokaadrid jõuavad ühisesse mudelisse, nii et näiteks nähtav liikumine ja sellega kaasnev heli saavad mõjutada sama otsust. See on oluline olukorras, kus üksnes kaadrist või üksnes transkriptsioonist jääks otsuse jaoks vajalik seos puudu.

Workers AI mudelikirjelduse järgi mahub päringusse kuni neli pilti, neli heliklippi ja kaks videot. Heliklipp võib kesta kuni 300 sekundit ja video kuni 60 sekundit; hostitud mudeli kontekstiaken on 64 000 tokenit. Pildid peavad olema PNG-, JPEG- või WebP-vormingus. Meedia saadetakse põimitud andme-URL-idena: kaugfaili aadressi vastavatesse väljadesse panna ei saa.

Videost valitakse kaks kaadrit sekundis. Seetõttu võib väga lühike või kaadrite vahele jääv sündmus otsusest välja jääda ka siis, kui fail ise vastu võetakse. Kui videol on heliriba, saab mudel seda kaadritega koos hinnata tingimusel, et päringu kõigil videotel on heliriba. Need piirid mõjutavad otseselt seda, kas olemasoleva analüüsiahela saab ühe kutsega asendada.

Päringu küsimused kirjeldavad soovitud otsuseid. Tüüp noul annab jah-vastuse tõenäosuse, choice hindab nimetatud valikuid ja score järjestatud skaalat. Vastused seotakse küsimuste identifikaatoritega, mis lubab rakendusel kasutada iga tulemust eraldi. Kui töövoog vajab sõnasõnalist transkriptsiooni, kõigi videokaadrite kirjeldust või põhjendavat teksti, tuleb need väljundid endiselt mujalt saada.

Foto, heli ja video ühes näidispäringus

Üks reprodutseeritav näide on seadme paigaldamise hindamine: foto näitab silti, helisalvestis seadme tööhäält ja video ventilaatori liikumist. Päring saadetakse POST-meetodiga aadressile https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef-omni. Päised on Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN ja Content-Type: application/json; enne saatmist tuleb BASE64-tähised asendada tegelike failide base64-sisuga.

Päringukeha: {"model":"clef-omni","state":"Hinda seadme paigaldust foto, tööhääle ja ventilaatori video põhjal.","images":["data:image/png;base64,BASE64_PNG"],"audio":["data:audio/mpeg;base64,BASE64_MP3"],"videos":["data:video/mp4;base64,BASE64_MP4"],"questions":{"silt_nahtav":{"type":"noul","instructions":"Kas seadme silt on fotol nähtav?"},"heli_normaalne":{"type":"noul","instructions":"Kas seadme tööheli on ilma kolina või kriginata?"},"ventilaator_tootab":{"type":"noul","instructions":"Kas ventilaator videos pöörleb?"}}}

Näide on tinglik ega kujuta läbiviidud katset. Küsimused eristavad meedia tõendusjõudu: sildi nähtavust saab hinnata fotolt, tööhäält salvestiselt ja pöörlemist videost. Kõik kolm sisendit liiguvad siiski sama päringuga ning vastused saab siduda eri otsustusreeglitega. Kui üks vastus jääb ebakindlaks või sisendid osutavad eri suundadesse, peab rakendus otsustama, millal on vaja inimese hinnangut.

Hind, kontekstiaken ja avatud kaalud

Workers AI arvestab meedia sisendtokeniteks, seega ei määra päringu hinda ainult lühike tekstiväli. Pildi suurus, heli kestus ning video pikkus ja eraldusvõime mõjutavad tokenikulu. Helile arvestatakse ligikaudu 780 tokenit minuti kohta; maksimaalse eraldusvõimega videole võib kuluda umbes 15 400 kaadritokenit minuti kohta, millele lisandub heliriba kulu. Väljundtokenite eest selle mudeli puhul tasu ei võeta.

Meediatokenid jagavad kontekstiakent küsimuste ja tekstiga. Kui meedia ületab selle mahu, päring nurjub; kui ülejäänud ruumist ei piisa pikale tekstilisele state-väljale, kärbitakse seda. Mahupiir ei ole seega pelgalt failide üleslaadimise tingimus: see võib muuta, milline osa tekstilisest olukorrakirjeldusest üldse otsuseni jõuab.

Avaldatud kaalud on Apache-2.0 litsentsiga ning võimaldavad mudelit ka oma taristus käitada. Workers AI liides ja iseseisev käitus on siiski eri kulumudelid: esimesel juhul makstakse teenuses arvestatud sisendi eest, teisel tuleb korraldada mudeli käitamine ja meedia töötlemine ise. Avatud kaalud annavad arendajale juurutusvaliku, kuid ei tee tootja hostitud teenuse latentsusnäitajaid automaatselt ülekantavaks oma taristule.

Mida kiirus- ja täpsusmõõtmised tegelikult näitavad

Cloudflare’i avaldatud videoaeg on tootja mõõtmine, mille kõrval puudub samal sisendil mõõdetud varasema mitme mudeli ahela tulemus. Cloudflare’ist sõltumatu, kuid konkureerivat mudelit haldava Jev AI katse hõlmas 100 fotot ja 100 lühikest räägitud numbrit. Clef-omni vastas õigesti vastavalt 100 ja 91 korral; Jev AI enda taristus töötav Jev-Omni vastas õigesti 96 ja 11 korral. Clef-omni mediaan oli fotode puhul 178 ning heli puhul 175 millisekundit, mõõdetuna Jev AI serverist Workers AI liideseni.

Katse mõõtis suletud valikutega pildi- ja heliülesandeid, mitte fotot, heli ja videot koos. Videoklippide täpsust seal ei hinnatud. Võrreldud mudelid töötasid eri teeninduskeskkondades, nii et nende vastamisaegades sisalduvad ka ühenduse ja taristu erinevused. Fotokatse annab veel ühe olulise nüansi: kuigi Clef-omni liigitas kõik valitud fotod õigesti, olid Jev-Omni tõenäosused selles väikeses valimis paremini kalibreeritud.

Ühe multimodaalse kutse mõju selgub seega alles sama rakenduse kogu töövoogu võrreldes: meedia ettevalmistamisest kasutatava vastuseni, samade küsimuste ja sama sisendiga. Kui otsus sõltub kaadrite vahelisest hetkest, pikast salvestisest või täpsest sõnastusest, võivad sisendipiirid ja väljundi kuju kaaluda üles ühe kutse lihtsuse. Nende juhtude jaoks on vaja mõõta nii lõplikku otsust kui ka kogu ahela aega, sest avaldatud katsed seda võrdlust veel ei anna.

Loe ka:

• Calendly või Microsoft Bookings: olemasolev litsents võib valiku otsustada
• Microsoft 365 Copilot või Gemini: odavam litsents ei otsusta kogukulu
• Hübriidtöö vähendas lahkumisi 33%, kuid töökorraldus otsustab tulemuse