Just nu möter varje bransch diskussioner om hur artificiell intelligens kan hjälpa eller hindra arbetet. I filmer är kreatörer oroliga för att deras arbete kan bli stulet för att utbilda AI-ersättare, deras framtida jobb kan tas av maskiner, eller till och med att hela processen med filmskapande kan bli helt automatiserad, vilket tar bort behovet av allt från regissörer till skådespelare till alla bakom kulisserna.
Men “AI” är mycket mer komplicerat än ChatGPT och Sora, de typer av allmänt tillgängliga verktyg som dyker upp på sociala medier. För konstnärer med visuella effekter, som de på Wētā FX som arbetade på Kingdom of the Planet of the Apes, kan maskininlärning bara vara ytterligare ett kraftfullt verktyg i en konstnärlig arsenal, som används för att göra filmer större och snyggare än tidigare. Rikets visuella effekters handledare Erik Winquist satte sig ner med ProSpelare inför filmens släpp och diskuterade hur AI-verktyg var nyckeln till att göra filmen, och hur begränsningarna för dessa verktyg fortfarande gör det mänskliga elementet nyckeln till processen.
För tillverkningen av Kingdom of the Planet of the Apes säger Winquist att några av de viktigaste maskininlärningsverktygen kallades “lösare”.
Bild: 20th Century Studios
“En lösare tar i grunden bara en massa data – oavsett om det är prickarna på en skådespelares ansikte (eller) på deras mocap-kostym – och kör en algoritm,” förklarar Winquist. “(Det är) att försöka hitta minsta möjliga fel, i huvudsak att försöka matcha var dessa punkter är i 3D-rymden, till en led på skådespelarens kropp, deras dockans kropp, låt oss säga. Eller i fallet med en simulering, en lösare tar i huvudsak var varje enskild punkt – i vattensim, säg – var i föregående bildruta, tittar på dess hastighet och säger, 'Åh, därför borde den vara här (i nästa bildruta),' och tillämpa fysik varje steg på vägen.”
För ansikten på Kingdoms många apkaraktärer säger Winquist att lösarna kan manipulera digitala apmodeller för att ungefär matcha skådespelarnas munformer och läppsynkronisering, vilket ger ansikten de vaga veck och rynkor du kan förvänta dig att bilda med varje ord. (Winquist säger att Wētā ursprungligen utvecklade den här tekniken för att kartlägga Josh Brolins Thanos-framträdande på en digital modell i Avengers-filmerna.) Efter att en lösare har gjort sin magi, börjar Wētā-artisterna arbeta med den svåra delen: att ta bilderna som lösaren startade, och polera dem så att de ser perfekta ut. Det är, för Winquist, där det verkliga konstnärskapet kommer in.
“Det innebar att våra ansiktsanimatörer kan använda den som en språngbräda, i huvudsak, eller en studsmatta”, förklarar Winquist med ett skratt. “Så (de kan) ägna sin tid åt att verkligen polera och leta efter platser där lösaren gjorde något på ett apens ansikte som inte riktigt förmedlade vad skådespelaren gjorde.”
Istället för att mödosamt behöva skapa varenda läppsynk och ansikts-tic, fokuserar artisterna sin tid på att skapa djupen av känslomässiga nyanser som lösaren inte kunde hantera. Detta låter dem göra mer noggrant och detaljerat arbete än vad som kunde ha varit möjligt när de tidigare stadierna måste göras för hand.
Medan de flesta av AI-verktygen som har väckt oro på nätet tränas genom att dra tusentals konstverk som publicerats på internet av konstnärer som inte har gett sin tillåtelse för den användningen – och lägga in deras stilar och element för att bygga upp dess ordförråd – Wētās verktyg tränas internt, enbart på studions eget arbete, enligt Winquist.
Bild: 20th Century Studios
“Det finns så mycket gråzon kring upphovsrättsinnehav, och “Var skrapar de all denna information ifrån?” Höger?” säger Winquist. “De platser där vi använder maskininlärning i vår pipeline, algoritmen tränas i huvudsak på vår information. Det tränas på våra skådespelare, det tränas på bildspråket som vi matar det, som vi har genererat. Inte bilder från var som helst.”
Lösningsverktygen, som Winquist och hans team byggde och förfinade på varje film Wētā har arbetat med, gör det möjligt för studion att ta sig an mer ambitiösa projekt och scener än de kunde ha tidigare. Till exempel är den massiva scenscenen vid klimaxen av Kingdom of the Planet of the Apes en scen som Winquist inte är säker på att de kunde ha gjort utan lagets senaste generation av mjukvara för vattenlösare. Dessa verktyg, föga överraskande, förfinades under produktionen på Avatar: The Way of Water. Winquist konstaterar att verket var ett steg upp från vattenscenerna i War for the Planet of the Apes, den tidigare filmen i franchisen.
“Vi skulle ha kämpat”, säger Winquist. “Jag skulle säga att om vi inte hade gjort de tidigare filmerna, skulle det ha varit en stor skjuts inom FoU för att få oss att komma igång.”
Bild: 20th Century Studios
Winquist fortsätter med att beskriva de otroliga komplikationerna av Kingdom of the Planet of the Apes olika vattenscener: En utspelar sig på en bro över en rasande flod, och en annan involverar en enorm översvämning av havsvatten. Enligt Winquist var Way of Waters vattenlösare nyckeln till att få dessa scener från marken, eftersom det gjorde det möjligt för effektkonstnärerna att simulera hur vattnet skulle reagera på vissa element, som apkaraktärerna och deras håriga kroppar, utan att helt återge dessa scener i en dator.
Detta gav art directors en chans att justera scenen innan renderingen ägde rum, vilket gjorde snabba justeringar möjliga. Tidigare kunde datorer ha behövt nästan tre dagar för att fullständigt återge alla CG-detaljer på en scen innan effektteamet kunde se resultaten, justera algoritmerna och sedan börja om på nytt. Det gjorde den här typen av CG-scen praktiskt taget omöjlig att förfina på det sätt som Wētā-teamet kunde med den här filmen.
Men trots alla sätt som AI-teknik visade sig vara avgörande för Kingdom, ser Winquist det fortfarande som inget annat än ett tomt verktyg utan artisterna som vägleder den och sätter fast den färdiga produkten.
Bild: 20th Century Studios
“Jag vill inte överskugga det mänskliga elementet,” säger Winquist. ”Jag har sett tillvägagångssätt där anläggningen verkligen har gått in djupt på maskininlärningssidan av saker och ting, och det känns som att det var där det tog stopp. Jag ser resultatet av det, och jag tror bara inte på att rösten kommer ut ur det ansiktet eller vad som helst. Det jag tycker att vi är så framgångsrika med är att artisterna i slutändan driver (de färdiga scenerna), använder maskinlärande saker som ett verktyg, istället för svaret på problemet.”
För Winquist kommer det mänskliga elementet alltid att vara nyckeln till att producera något stort och konstnärligt intressant.
“I slutändan kan (maskininlärningsverktyg) bara återuppstå vad de har matats”, säger han. “Jag vet inte. Jag kanske är en luddit, men jag vet bara inte om det någonsin finns en punkt där det där på ett meningsfullt sätt kan göra (en film) verkligt engagerande – ett konstverk som någon faktiskt kommer att vilja sitta ner och titta på. Det jag alltid går tillbaka till är, varför skulle jag bry mig om att läsa något som någon inte orkade skriva? Oavsett om det är ord eller om det är bilder.”
Kingdom of the Planet of the Apes har biopremiär den 10 maj.