A 3D-s térszkennelés (location scanning, Gaussian Splatting) egyszerre tűnik kreatív és tech munkának. Hogyan kerültél kapcsolatba ezzel a világgal?
Gyártási területen kezdtem el dolgozni Magyarországon film-, sorozat- és reklámfilm-forgatásokon. A külföldi produkciók esetében viszont csak szervizmunkát végeztünk, így mire mi elkezdtünk dolgozni, addigra az összes fontos kreatív döntést már meghozták előttünk a fejlesztési szakaszban, általában Los Angelesben. Nagyon szerettem volna, hogy a projekteknek egy korábbi szakaszára is rálássak, ez viszont csak akkor lehetséges, ha valaki Los Angelesben él. Még Magyarországon elkezdtem egy virtual production stúdióval dolgozni, ami nagyon megtetszett. Így jelentkeztem a Kaliforniai Egyetemen egy képzésre, ami a filmezést és az üzletépítést ötvözte. Így kerültem Los Angelesbe, azóta itt dolgozom.
Új technológiáról van szó, ami a közelmúltban egyre gyorsabban kezdett fejlődni. Hogy látod, mi okozza ezt a felfutást?
Pár évvel ezelőtt eléggé lelassult a filmgyártás Los Angelesben, ezzel párhuzamosan kezdett el fejlődni a virtuális gyártás, és az ehhez kapcsolódó technológiák, például megjelentek az új iPhone-okba már beépített LiDAR-érzékelők, amik alkalmasak a környezet térhatású digitalizálására. Nagyjából ekkor kezdtem el azon gondolkodni, hogy milyen lehetőségek lehetnek abban, ha a filmipart a technológiával ötvözöm. Amikor kijött az első iPhone, amiben volt LiDAR-érzékelő, rögtön el is kezdtem tesztelni. Eleinte nagyon rossz minőségű volt, de láttam benne a potenciált, és úgy éreztem, hogy ez a technika gyorsan eljuthat arra a szintre, hogy forgatási helyszíneket is lehessen vele hatékonyan digitalizálni.
Hogyan működik a munkád a gyakorlatban?
A District Cinema nevű startup céggel dolgozom, akik immerzív tartalmak készítésével kezdték. Ehhez a markerless motion capture nevű technikát használták, ami leegyszerűsítve abból áll, hogy kicsi kamerák felhasználásával követik a mozgást, így a digitalizációhoz a szereplőknek nem kell például szenzoros ruhát viselniük. Ez hasonló technológia, amit anno például az Xbox Kinect tudott, csak ma már sokkal fejlettebb, akár az ujjak mozgását is le tudja követni. A District Cinema ezzel a technikával készített immerzív anyagokat cégek és például vidámparkok számára. Egyébként egy nagyon tehetséges csapatról van szó, vannak köztük szoftverfejlesztők, virtuális művészek és produkciós koordinátorok. Úgy éreztem, ez egy tökéletes közeg arra, hogy elkezdjünk ezzel a technikával dolgozni, és az ő tudásukkal felépíteni egy munkafolyamatot.
Gaussian Splatting-nek hívják a technológiát, amivel dolgozunk. Lényegében egy 3D-s fotóról van szó, de fontos különbség a korábbi technológiákhoz képest, hogy itt a valós képet digitalizáljuk be, míg régebben a 3D szkennelés után digitálisan újraalkották a teret. Így most minden apróság, ami jelen van az adott térben, az tisztázást igényel, például a poszterek vagy a rendszámtáblák. Nekünk erre van egy virtuális művészeti csapatunk, akik az elkészített 3D-s anyagokat rendbe rakják, javítják a minőségüket és kiszednek minden olyan tereptárgyat, ami nem oda való.
Általában te végzed magát a szkennelést?
Ha az Egyesült Államokban van az adott helyszín, akkor igen, viszont elkezdtünk kiépíteni egy nemzetközi hálózatot, mivel a világ minden pontján vannak nagyon kompetens cégek, akik vállalnak ilyen munkákat. A célunk, hogy egyfajta hub-ként is működjünk, akik hidat képeznek a techcégek és a filmes területen mozgó kliensek között. Sokszor nem lenne értelme nekünk elrepülni például Ázsiába, inkább megbízunk egy ottani csapatot, akik kimennek terepre, majd eljuttatják nekünk a szkennelt anyagot, amit mi feldolgozunk, tisztítunk, vagy átalakítjuk például úgy, hogy egy LED-falon is használható legyen.
A LED-technológia elterjedésével gyakoribbá válhat, hogy a háttereket is az olyan művészek tervezik a forgatásokhoz, mint te? Mennyiben más egy előtanulmány, és egy élesben használt háttér elkészítése?
A legnagyobb különbség a szkennelt anyag minőségében rejlik. Ha egy forgatáshoz készítünk hátteret, akkor egyrészt jobb felbontású digitalizált képekre van szükség, másrészt pedig az utómunka is több időt vesz igénybe.
Követjük, hogy a LED-technológia hogyan fejlődik, és sokat dolgozunk olyan cégekkel, akiknek kell konkrét tartalom, amit a falaikra tudnak vetíteni, mi pedig ezeket el is tudjuk nekik készíteni. De egyelőre ezek a forgatások eléggé körülményesek, vannak még kreatív korlátai ennek a technológiának. A LED-fal autózásnál vagy egy naplementés jelenetnél például jól használható, de meg van szabva, hogy mennyire mehetsz közel a falhoz a kamerával, és a túl világos jeleneteket sem célszerű ezzel megcsinálni.
Mióta alkalmazzák, alkalmazzák-e már széles körben ezt a technikát a produkciók? Az első ügyfélmeetingen még el kell nekik mondanotok a nulladik ponttól kezdve, hogy ez micsoda és mire lehet használni?
Abszolút, mindig azzal kezdjük, hogy elmagyarázzuk nekik, mi is ez az egész, főleg azért, mert ezt a technikát korábban elsősorban az utómunkához használták. Ez egy sokkal lassabb folyamat volt, a szkennelést végző csapat kiment a forgatási helyszínre, majd a forgatás végén átadta az anyagot a VFX csapatnak, akik elkezdtek vele dolgozni, ők visszaküldték jóváhagyásra, és így tovább. Mi már az elkőkészítési folyamatokban részt veszünk: virtual scouting sessionöket szervezünk, amik keretében a kreatívok egy VR szemüveg segítségével beléphetnek a térbe, interakcióba léphetnek a beszkennelt helyszínnel, és az itt készült jegyzetek alapján tudnak aztán haladni a társosztályok, a gyártás, a díszletesek, vagy épp mi is.
Hogy látod, melyik korábbi filmgyártási folyamatok, pozíciók alakulhatnak át vagy szűnhetnek meg a technológia hatására?
A Gaussian Splatting nagyon gyorsan fejlődik, én kb. két éve még csak elméleti szövegeket olvastam róla, most pedig már forgatásra kész anyagok elkészítésére használható. A mi szervezeti felépítésünk nem arra törekszik, hogy megszűnjenek pozíciók a filmiparban, inkább az a lényeg, hogy a már meglévő munkafolyamatokat tegyük gyorsabbá és gördülékenyebbé. Egy betanítás után nagyon könnyű használni a 3D szkennelést, és az a célunk, hogy a lehető legtöbb produkciós csapat hatékonyan tudja használni.
Tehát ez egy olyan technológia, ami a jelenleg is meglévő produkciós láncba épül be, magát a filmgyártás folyamatát nem változtatja meg gyökeresen?
Így van. Alapvetően úgy szokott működni a helyszínkeresés, hogy a gyártócég szakemberei befényképeznek egy helyszínt, az anyagokat pedig eljuttatják a kreatívoknak, akik megnézik és átgondolják, mit és hogyan akarnak felvenni. Viszont ha van egy olyan szög, ami a rendezőnek és az operatőrnek tetszik, de a térnek pont az a része nincs jól befotózva, akkor a helyszínkeresőknek, vagy az alkotóknak újra ki kell menniük, akár többször ugyanazokra a helyszínekre. A térhatású szkennelés ezt a folyamatot teszi sokkal gyorsabbá és gördülékenyebbé. A kreatívok megkapják a tér 3D-s digitális verzióját, amit akár az otthonukban ülve is be tudnak járni, megtalálhatják azt a pontot, ami számukra szimpatikus, és azt is lemérhetik, hogy elférnek-e ott a kamerával, és mennyi helyük lesz a színészeknek. Ez a méricskélés egyébként az ökológiai lábnyomot is csökkenti, mivel a díszletesek vagy a unit csapat is dolgozhat a tervben, így kevesebbszer kell nekik is autózni a helyszínek között, pár kattintással lemérhetik a belmagasságot, vagy egy falfelület szélességét.
Szóval időt, pénzt és energiát takarítunk meg: például az is rettenetesen megnöveli a költségeket, amikor a rendező és az operatőr a forgatási nap közepén áll neki ötletelni, és vár rájuk 50 ember. Ezeket a köröket a 3D-s szkennelésekkel simán áttehetjük az előkészítési szakaszba, hogy minél több kreatív döntést meg lehessen hozni még a forgatás előtt.
Milyen más csapatok számára lehet még hasznos egy térhatású szken?
Jó lenne beépíteni ezt a módszert a kellékesek és a díszletesek munkájába. Egy forgatás előtt kb. két héttel van egy nagy elfogadó kör, amikor a helyszínen ki vannak pakolva az elkészített díszletelemek és kellékek, a rendező pedig körbemegy, és egyesével jóváhagyja azokat. Másra már nincs idő, mert ezen a ponton a nyakukon van a forgatás, így sokszor nincs lehetőség részletesen visszajelezni, esetleg módosítást kérni egy-egy darabra. Ezt az időigényes folyamatot is le lehetne rövidíteni azzal, hogy beszkenneljük a kellékeket, akár egy kézi lézerszkennerrel, vagy manapság akár egy iPhone-nal, ezt mi feltöltjük a tárhelyünkre, ahonnan a rendező bármikor eléri. Itt tüzetesen átnézheti a tárgyakat, jegyzetelhet és méricskélhet, a kommentjeit pedig átadhatja az adott osztálynak, akik lehet, hogy még tudnak módosítani rajta, ha kell.
Az utómunka folyamatokat hogyan segítheti ez a technológia?
A legnagyobb segítség az utómunka és VFX-cégeknek az lehet, hogy a 3D-szkennelés segítségével sokkal pontosabban felmérhetik, hogy mennyi munkájuk lesz az adott projekten, ahelyett, hogy kvázi vakon adnak árajánlatokat, mint ahogyan azt mostanság teszik. Többször van olyan, hogy a VFX-cég egy sokkal kisebb volumenű projektre gondol, mint a produkció, így bőven adódnak félreértések. Ezeket el tudják kerülni a digitális tervezéssel: látják a pontos méreteket, behatóbban megismerhetik a teret, amivel dolgozniuk kell, így reálisabban tudnak becsülni, ami kevesebb túlórát jelenthet az egyébként is leterhelt VFX-artistoknak az utómunka során.
Hol van, van-e helye a munkádban az AI-nak? Mennyire változtatja meg ezt a területet a mesterséges intelligencia térnyerése?
Mi csak minimálisan használunk mesterséges intelligenciát, és úgy érzem, hogy óvatosnak is kell lennünk vele. A stúdiók nagyon félnek attól, hogy az AI-t nem etikusan használja egy cég, akikkel ők együtt dolgoznak, és úgy általánosságban is ellentart a szakma: nemrég az érdekvédelmi szervezetek is radikálisan felléptek a mesterséges intelligenciával kapcsolatos fejlesztésekkel szemben. Úgyhogy emiatt is próbáljuk minél kevesebbet használni. Amiben viszont hasznát vesszük, hogy például a 360 fokos szkennelésnél a mesterséges intelligencia kimaszkolja azt, aki készíti a felvételt, illetve a térben mozgó járműveket és embereket is ki tudja szedni, az AI detektálja a mozgást, és segít kijelölni, illetve törölni a nem odaillő elemeket.
Már a közeli jövőben eljuthatunk odáig, hogy ha például van egy beszkennelt térben 50 autó, akkor azoknak a rendszámtábláit egyszerre lehet majd módosítani az AI segítségével. Az aprólékos és repetitív képszerkesztési munkákon sokat fog könnyíteni, az már most látszik.
A kulturális hagyaték megőrzésére is használtad már ezt a technikát. Milyen távlatokat nyithat meg ez a munkamódszer más területeken, például a régészetben vagy a muzeológiában?
Mi elsősorban a filmezésre koncentrálunk, de kulturális hagyaték megőrzésére is használjuk a szkennelést. Például a Zsámbéki romtemplom digitalizálásának az ötlete onnan jött, hogy egy barátom esküvőjén voltam ott, és mondták, hogy hamarosan fel lesz újítva, így eszembe jutott, hogy meg kellene őrizni valahogy a mostani állapotát. Múzeumok egyébként gyakran keresnek bennünket, edukációs programokat szerveznek, és ezekhez kérik, hogy a kiállításaikat szkenneljük be, hogy a távolabbi államokban élő gyerekek is megnézhessék őket. Így teljesen bejárhatóvá válik a kiállítási tér, szabadon lehet mozogni benne.
Mostanában pedig elkezdtünk egy olyan céggel dolgozni, akiknek konferencia központjai és stadionjai vannak, mi beszkenneljük nekik a területet, ők pedig arra használják, hogy a potenciális partnereknek prezentálják, hogyan néznének ki azok a hirdetések, amik az épületek reklámfelületein futnak majd.
Mik a te rövid- és hosszú távú céljaid a szakmában?
Úgy érzem, hogy a virtuális gyártást jelenleg csak a hatalmas költségvetésű és a nagyon hobbi projekteknél használják. Nagyon örülnék annak, ha az indie-filmekbe és TV-showkba is betörnének a virtuális gyártási eszközök, mint a térhatású szkennelés. Remélem, hogy egyre több produkció engedheti majd meg magának, hogy külföldön forgasson abból a pénzből, amit ez a technológia megspórol nekik. Pillanatnyilag nagyjából 3 millió dolláros büdzsé alatt nem éri meg egy amerikai produkciónak külföldre, például Magyarországra jönni, az adóvisszatérítések ellenére sem. A szkennelés azonban annyit spórolhat a gyártás-előkészítésen, hogy ez a tendencia akár meg is változhat a jövőben. Illetve motivál az is, hogy a technológia segíthet a produkciók karbonlábnyomának csökkentésében.
Mennyire nehéz ma az Egyesült Államokban filmesként boldogulni?
Én olyan szempontból szerencsés vagyok, hogy a reality capture és a gaussian splatting technológia, illetve a virtuális gyártás új irányai eléggé forró témák mostanában, rengeteg konferenciát is szerveznek ezzel a témával kapcsolatban. Így mi jó helyen vagyunk, viszont az aggasztó, hogy szinte minden produkció elmegy Los Angelesből vagy egy másik államba, vagy Európába forgatni. Így aki Los Angelesben dolgozik a fizikai gyártásban, az nagyon nehéz helyzetben van. De a kreatív döntéshozóknak sem egyszerű, rengeteget utaznak, és előfordul, hogy akár egy évre el kell menniük a családjaiktól egy munka miatt. Nekik is segíthet az, amit csinálunk: megnyitjuk a lehetőséget a virtuális munka előtt, ami kevesebb oda-vissza utazással járna.
