Išbandėme Utopai PAI: geriausias ilgos formos AI vaizdo generatorius šiandien?

Dauguma AI vaizdo įrankių yra sukurti paryškinimo ritiniui. „Sora“, „Kling“, „Luma“, „Runway“ – visi yra optimizuoti reginio akimirkai: įspūdingas penkių sekundžių klipas, vizualinis eksperimentas, įspūdingai atrodantis socialinėje žiniasklaidoje.

Tai, ką jie retai išsprendžia, yra ta dalis, kuri iš tikrųjų svarbi profesionaliems pasakotojams: scenos nuoseklumas, veikėjo tapatybė įvairiuose pjūviuose ir smulkus kūrybinis valdymas, dėl kurio nereikia pradėti iš naujo kiekvieną kartą, kai kažkas šiek tiek neveikia.

Tai yra atotrūkis, kurį „Utopai Studios“ ieško su PAI. Jos komanda, sudaryta iš „Google Research“, „Meta Superintelligence“, „Amazon AGI“ ir „Adobe Firefly“, sukūrė PAI specialiai ilgos formos kino gamybai: iki 16 kadrų vienu pasakojimo srautu, iki vienos minutės trukmės ir iki 4K skiriamosios gebos.

Ji taip pat apima integruotą autorių teisių apsaugą, kuri blokuoja generavimą nuo saugomų IP, autorių teisių saugomų simbolių ir tikrų viešų panašumų – funkcija, skirta studijoms ir profesionalams, kurie negali sau leisti atsitiktinio pažeidimo.

PAI ką tik buvo atidaryta visuomenei anksčiau šį mėnesį. Įstojome, skyrėme laiko kiekvienam darbo eigos etapui ir pakeliui praradome keletą kreditų. Čia yra visas vaizdas.

Sąsaja

Pagrindinis ekranas atrodo kaip „ChatGPT“ arba bet kuri įprasta „chatbot“ sąsaja. Iš ten naršote penkis skirtukus: simboliai, siužetinė lenta, vaizdo įrašas, redaktorius ir istorija.

Tačiau neapsigaukite: PAI nėra greito ir laukimo įrankis, kaip „Sora“ ar „Veo“. Tai struktūrizuotas gamybos vamzdynas, kurio viršuje yra natūralios kalbos sluoksnis, o išskirtinumas yra labai svarbus, kai yra kreditų.

Veikėjai

Tai stipriausia viso rinkinio savybė ir galbūt pati įspūdingiausia simbolių generavimo sistema, kurią šiuo metu galima rasti bet kuriame AI vaizdo įrankyje.

Vartotojai gali leisti modeliui pačiam kurti simbolius arba pateikti nuorodų vaizdų, iš kurių galima dirbti. Tai nėra veido keitimas – jis neperkelia tikro žmogaus panašumo taip, kaip tai daro Deepfake įrankiai. Vietoj to, jis sukuria visiškai naujus modelius, kurie yra labai artimi nuorodai, be teisinių ir etinių problemų, kylančių dėl tiesioginio veido pakeitimo. Visi išėjimai pažymėti vandens ženklu SynthID.

Daugumos dirbtinio intelekto sukurtų personažų oda yra vaškinė, todėl jie iškart išnyksta. PAI nėra arba bent jau ne tokio paties masto. Odos tekstūra atrodo tikroviškai, kaip ir šviesos sąveika su veidu, o detalės yra stiprios. Nesvarbu, ar tai yra patentuotas modelis, ar neįprastai patobulinta kartos darbo eiga, rezultatai kalba patys už save.

Simbolių redagavimas atliekamas natūralia kalba: sukūriau personažą naudodamas savo žmonos išvaizdą kaip nuorodą, tačiau rezultatas pasirodė per plonas, todėl paprašiau modelio pakoreguoti kūno proporcijas, kad jos geriau atitiktų nuorodą. Jis tiksliai suprato, ką turiu galvoje, ir pataisė.

Vienas nuoseklus įspėjimas: jis lėtas. Netgi pagrindinio veikėjo vaizdo generavimas užtrunka kelias minutes.

Siužetinė lenta

Galite paleisti siužetinę lentelę automatiškai ir leisti, kad modelis viską padarytų už jus, bet ne tam jis buvo sukurtas.

PAI apdovanoja išsamią informaciją čia. Kuo daugiau aiškinsi – ką veikėjai veikia kiekvienoje scenoje, ką sako ir kaip vyksta istorija – tuo geriau modelis veikia. Pateikite jai tą specifiškumą ir jis naudos AI, kad išplėtotų detales, tada sukurs apie keliolika pagrindinių kadrų. Kiekviename kadre pateikiamas scenos vaizdas ir aprašymas, kas vyksta būtent tuo momentu: veikėjų veiksmai, dialogai ir vaizdinė kompozicija.

Prieš ką nors įsipareigodami, galite redaguoti kiekvieną pagrindinį kadrą atskirai. Valdymas yra tikrai granuliuotas. Kai būsite patenkinti, nurodote modeliui tęsti, o prieš pateikiant jis prašo galutinio patvirtinimo. Šis peržiūros prieš pateikimą srautas yra protingas dizainas. Tai verčia priimti apgalvotus sprendimus ir pagauna problemas, kol jos netampa brangiomis.

Beje, net ir mažiausias redagavimas užtrunka ir sudegina kreditus. Atsargiai judėkite.

Vaizdo įrašų generavimas

Kai tai veikia, sėkmingas atvaizdavimas užtrunka maždaug 30 minučių, kad būtų galima sukurti visą vaizdo įrašo minutę. Išvesties kokybė pateisina tą laukimą. Kameros kampai keičiasi natūraliai ir atsižvelgia į nustatytus pagrindinius kadrus, apšvietimas yra natūralus, o personažai neturi tuščiavidurės, laisvos kokybės, dėl kurios dauguma AI vaizdo įrašų kartų jaučiasi negyvai. Balsai yra nuoseklūs visose scenose, tinkama intonacija, kuri išlieka net iškirpus kitus elementus.

Kai fotoaparatas vėl susifokusuoja į veikėją po to, kai parodė ką nors kita, jie grįžta taip, kaip išėjo. Fono peizažas išlieka stabilus, ir nors yra deformacijų ir artefaktų, jie yra nedideli. Vienas trūkumas: modelis netinkamai tvarko vaizdo įrašo tekstą. Jis gali sukurti pagrindinius teksto elementus, bet nepasikliaukite tuo, kas reikalauja tikslios ekrano tipografijos.

Čia yra vienas kartos pavyzdys, pagamintas naudojant viską, ką modelis tvarko automatiškai.

Dabar apie sunkesnę dalį. Viena iš mūsų bandymų sekų nepavyko tris kartus iš eilės. Pirmasis bandymas užtruko apie 45 minutes, sunaudojo titrus taip, lyg būtų sugeneruotas visas vaizdo įrašas, ir rezultatas buvo tuščias. Mes pasakėme pokalbių robotui, kad jis nieko nesukūrė. Jis pripažino klaidą ir paleido iš naujo.

Po valandos vis tiek nieko. Bandėme trečią kartą. Tas pats rezultatas. Trys bandymai, didelis kredito praradimas ir nulis filmuotos medžiagos. Kai pasidavėme, mums beveik nebeliko kreditų ir turėjome judėti toliau.

Tai nėra nedidelė klaida, kai mokate tikrus pinigus ir dirbate profesionaliai. Sąsaja pripažįsta, kad pasitaiko klaidų. Patirti tai tiesiogiai yra kas kita, ypač atsižvelgiant į tai, kad norint atsisiųsti vaizdo įrašą reikės teigiamo balanso, jei generavimo proceso metu buvo sunaudoti titrai.

Pirmajame bandyme, kai viskas buvo pasirinkta automatiškai, padariau vartotojo klaidą: pateikiau dvi etalonines nuotraukas, nenurodydamas, kuris simbolis turi būti naudojamas, o modelis jas priskyrė atvirkščiai – vyriškas personažas (aš) buvo sukurtas iš moteriškos nuorodos (mano žmona) ir atvirkščiai.

Pamirškite apie traumuojantį mano, kaip moters, įvaizdį, o gautas vaizdo įrašas vis tiek buvo nuosekliausiai pateiktas ilgos formos AI vaizdo įrašas, kurį sukūriau. Net ir su neteisingomis nuorodomis, modelis išlaikė vizualinį ir toninį tęstinumą nuo scenos iki scenos. Tai daug pasako apie pagrindinę architektūrą.

Abiejų patirčių pamoka yra ta pati: įprasti AI vaizdo įrankiai prisiima viską už jus, o tai reiškia, kad jums nereikia daug galvoti, bet jūs taip pat turite priimti tai, ką jie nuspręs. PAI suteikia jums kontrolę. Ir su ta kontrole atsiranda visa atsakomybė už tai, ką įdėjote.

redaktorius

Užbaigus vaizdo įrašą, skirtuke Redagavimo priemonė galite nukreipti pakeitimus tik natūralia kalba. Įdėkite elementus į sceną, ištrinkite juos, pakeiskite spalvas, sureguliuokite apšvietimą, perfrazuokite dialogą arba atnaujinkite lūpų sinchronizavimą, o modelis atitinkamai perteikiamas. Tai tikrai supranta, ko klausiate.

Tai nėra papildomo apdorojimo filtras. Tai kartotinė, dirbtinio intelekto pagrįsta peržiūra scenos lygiu. Galimybė apibūdinti redakcinį tikslą ir gauti pataisytą filmuotą medžiagą visiškai pakeičia kūrybinį režisieriaus ir jo medžiagos santykį. Ši funkcija, labiau nei bet kas kita PAI, atrodo taip, kaip artimiausiu metu bus galima redaguoti AI vaizdo įrašus.

Pavyzdžiui, peržiūrėjęs pirmąjį vaizdo įrašą, aš paprašiau modelio ištaisyti klaidą naudojant tinkamas nuorodas.

Kai jis buvo apdorotas, jis buvo toks:

Į tai:

Istorija

Skirtuke Istorija registruojama visa kiekvienos sąveikos laiko juosta: raginimai, redagavimas, atvaizdavimo bandymai ir viskas.

Vieniems kūrėjams tai suteikia naudingą kontekstą. Komandoms tai gali būti tikras bendradarbiavimo sluoksnis, kuriame skirtingi vartotojai gali matyti, kaip kolegos režisavo modelį, suprasti, kas veikė, o kas ne, ir tęsti iš bendro kūrybinio įrašo.

Kainos ir apatinė eilutė

PAI kaina yra 100 USD už 10 000 kreditų. Mūsų bandymų metu 2 000 kreditų apėmė keturis vaizdo įrašus (vienas užbaigtas, trys ne), kurių bendra trukmė keturios minutės – po du vaizdo įrašus sugeneruoti simboliai su daugybe iteracijų prieš atvaizdavimą, siužetinės linijos kūrimas naudojant išsamius ir išsamius raginimus ir maždaug du etapai redaguoti po pateikimo.

Apskritai, PAI atrodo kaip profesionalus įrankis, sukurtas žmonėms, kurie tikrai rimtai žiūri į AI vaizdo įrašus. Jis yra lėtas, negailestingas dėl nepatyrimo (atvirai kalbant, gali prireikti puikios pamokos) ir gali labai greitai sudeginti jūsų biudžetą. Sąsaja nėra apsaugota nuo gedimų, o sistema nubaus už tai, kad žengiate nepakankamai pasiruošę.

Po pirmosios sesijos, praleistos mokantis, kaip ji galvoja, mūsų antrasis bandymų etapas davė labai stebinančius ir džiuginančius rezultatus – tokius, kuriems paprastai reikia veido keitimo technikos, bandymų ir klaidų raundų bei įrašo redagavimo.

Profesionaliems vaizdo įrašų kūrėjams, kuriems tęstinumas, IP saugumas ir kino kokybė yra neginčijami dalykai, PAI yra geriausia šiuo metu prieinama ilgos formos AI vaizdo sistema. Išspręskite patikimumo problemas ir nieko daugiau, bent jau dabar.