Freddy Chávez Olmos artist és rendező kiadott egy érdekes technikai összefoglalót a BYE-BYE indie VFX horror film megalkotásáról, különösképp, hogy miként voltak segítségükre az új AI-alapú tool-ok.
A kétperces rövidfilm elkészítéséhez a Leonardo.ai generatív AI platformot használták, illetve a Nuke, valamint Photoshop új gépi tanuláson alapuló funkcióira támaszkodtak a rotózási, painting és arcátalakító munkák során.
Megkerestünk Chávez Olmos-t, hogy egy kicsit többet megtudjunk a folyamatról, és arról, hogy az AI hogyan segíthet a többi, korlátozott költségvetéssel rendelkező indie filmesnek komplex VFX-et készíteni.
A BYE-BYE egy városi legendát mesél el, melyben két nő, Karlah és Hannah egy elhagyatott peronon várakoznak a metróra, amikor a sötétségből dermesztő suttogások törnek elő.
Jelenleg fesztiválokon vetítik a filmet, így csak rövid ízelítőt találunk az interneten, de a technikai breakdown ad némi betekintést arról, hogy mi történik ezután.
A BYE-BYE a Kanadai Rendezők Szövetségének kezdeményezésére jött létre, mely nyolc rendezőnek adott lehetőséget egy rövidfilmes projekt megrendezéséhez a vancouveri Lumostage-nél.
A forgatásra mindössze két óra állt rendelkezésre, ezért Chávez Olmos - akit korábban a speciális effektek make-up legendája, Dick Smith mentorált - új, AI-alapú workflow-t alkalmazott az egyik szereplő összetett make-up look-jának megalkotásához.
“Tudtam, hogy két óra nem elég egy forgatásra, így az AI és gépi tanuláson alapuló eszközök használata merült fel megoldásként” - mondta.
A munkákhoz a Boxel VFX és animációs stúdió, ahol Chávez Olmos AI kreatív igazgató, számos új AI és gépi tanuláson alapuló tool-t használt.
Az egyik legjelentősebb a CopyCat volt, amely a Nuke része, és lehetővé teszi a felhasználók számára, hogy saját neural hálózatokat készítsenek a VFX task-ok automatizálásához.
A Boxel a CopyCat-et a MODNet real-time portrait matting modell-el együtt használta, hogy elkülönítsék a két szereplőt az élő felvétel hátterétől.
“A CopyCat hatékonynak bizonyult, sokat használtuk ebben a projektben “ - mondta Chávez Olmos. “A rotoszkópos process és a DI mattes generálásában támaszkodtunk rá.”
A Boxel a CopyCat-et a Leonardo.ai-al együtt is használta a arctranszformációs effekt létrehozásához, amely során a színész átváltozik egy sokkal idősebb nővé.
A produkciós munkákra hangolt AI modellek széles választéka mellett a generative AI platform lehetővé teszi, hogy a felhasználók testreszabott AI modelleket képezzenek saját forrásképeket használva.
„A Leonardo.ai segítségével létrehoztuk a saját, személyre szabott modellünket, amely összhangban volt azzal a stílussal, amelyet a vén hölgy karakteréhez elképzeltem” – mondta Chávez Olmos. “Azáltal, hogy a Leonardo-ban konzisztens keyframe-ket hoztunk létre, úgy a Copycat-tel in-between-eket tudtunk generálni, majd map-elni azokat a plate-re.”
A ControlNet funkcióinak használata a képről-képre történő irányításhoz kulcsfontosságú volt a munka szempontjából. „Lehetővé tette, hogy hűek maradjunk a színész teljesítményéhez, és a mozgása, valamint pózai irányítsák a generatív folyamatot” – mondta.
A festési munkákhoz a Generative Fillt-t használták, az AI-alapú objektumeltávolító és háttércserélő eszközt az év elején mutatta be a Photoshop.
Chávez Olmos szerint nagyon praktikus eszköz, hozzátette, hogy nagyon várja a jövőbeni fejlesztéseket, különösen, hogy az Adobe videós csomagjaihoz is elérhető legyen.
A set extension munkálatok Unreal Engine-ben történek, és bár a Boxel nem használt AI-t a munka ezen részéhez, a csapat tesztel néhány AI/ML tool-ot Unreal-ben a következő projekthez.
Juan Carlos Galindo, a BYE-BYE Unreal Engine VP supervisor-a és a Boxel Studio új technológiákért felelős igazgatója szerint a virtuális gyártás és a BYE-BYE-n használt mesterséges intelligencia-alapú munkafolyamatok kombinációja új utakat nyit meg a filmkészítők előtt.
„A feltörekvő technológiák átalakítják a tájat” – mondta. „A rendezők teljesen új eszköztárat kaptak elképzeléseik megvalósításához.”
További információk a BYE-BYE-ről Freddy Chávez Olmos honlapján
Tekintsd meg Chávez Olmos további technikai ismertetőit az AI használatáról