Hummingbird-0: pavyzdžių nereikalaujantis lūpų judesių sinchronizavimo AI, atrodantis beveik pernelyg tikroviškai

#hummingbird #EarnCrypto #AI

Hummingbird-0 (pristatomas Quasa.io/projects/hummingbird-0) – tai novatoriškas, pavyzdžių nereikalaujantis Tavus lūpų judesių sinchronizavimo AI modelis (sukurtas remiantis jų Phoenix-3 tyrimais), kuris kuria stulbinančius, itin tikroviškus lūpų judesius, sinchronizuotus su bet kokiu garso įrašu — be jokio mokymo, papildomo derinimo ar klonavimo.

Tiesiog įkeliate trumpą pradinį vaizdo įrašą (geriausiai tinka stambiu planu kalbantis žmogus) ir naują garso įrašą (MP3/WAV/ir kt.), o modelis sukuria fotorealistišką lūpų judesių sinchronizaciją: kiekvienoms 10 sekundžių vaizdo įrašo prireikia ~1 minutės. Palaikomi iki 5 minučių trukmės klipai. 

Rezultatai itin gerai išlaiko asmens tapatybę (Arcface įvertis ~0.84, 7% geresnis nei konkurentų), judesių laikas ir išraiškos yra natūralūs, o daugeliu atvejų nėra nenatūralių, nejaukumą keliančių iškraipymų—todėl rezultatas atrodo beveik neatskiriamas nuo tikros filmuotos medžiagos.

Tai didžiulis šuolis kūrėjams, rinkodaros specialistams, kino kūrėjams ir lokalizavimo komandoms: be vargo dubliuokite vaizdo įrašus bet kuria kalba, sinchronizuokite AI sukurtus klipus (Veo, Kling ir kt.), kurkite virusinius memus ar tobulinkite turinį, kuriame stambiu planu rodomas kalbantis žmogus. Šiuo metu modelis prieinamas kaip bandomoji mokslinių tyrimų versija per FAL.ai ir Tavus API (galima išbandyti nemokamai su apribojimais). Jis optimizuotas į kamerą atsisukusiems kalbėtojams, tačiau gerai susidoroja ir su įvairesniais atvejais.

Tavus pabrėžia atsakingą naudojimą (piktnaudžiavimo stebėseną, tobulinamas apsaugos priemones), nes toks tikroviškumas labiau nei bet kada ištrina ribas tarp tikro ir netikro. Nedideli trūkumai: geriausiai veikia su aiškiais, gerai apšviestais pradiniais vaizdo įrašais; kartais pasitaiko smulkių trikdžių filmuojant itin neįprastais rakursais arba apdorojant labai ilgus klipus; be to, modelis orientuotas į API naudojimą (atskiros vartotojams skirtos programėlės dar nėra).

Tikras perversmas AI vaizdo įrašų redagavimo srityje 2026 metais—stulbinamai tikslus ir prieinamas. 

Taip pat gaukite 1 QUA atlygį per Quasa! 4.8/5 žvaigždučių (išskirtinis tikroviškumas, sparta ir patogumas, nes nereikia jokio mokymo; įvertinimas šiek tiek sumažintas dėl mokslinių tyrimų etapo apribojimų ir galimų etinių problemų).

Pradėkite: https://quasa.io/projects/hummingbird-0