Film, Kunstig intelligens & Open Source

Bilder av Hollywood-stjerner brukes til å lage falske pornofilmer

Flere kjente Hollywood-stjerner har den siste tiden blitt misbrukt i manipulerte pornofilmer. Foto av Emma Watson: Georges Biard/CCBY. Montasje: Henrik Lied/NRKbeta

Den siste trenden på et underforum av nettsamfunnet Reddit er å lage pornovideoer der skuespillerens ansikt er byttet ut med ansiktet til en kjendis. Teknologien bak er utviklet av en anonym Reddit-bruker, og vi har testet hvordan det faktisk fungerer.

Bilder av Hollywood-stjerner som Emma Watson, Scarlett Johansson og Natalie Portman blir misbrukt til å skape falske pornofilmer, takket være avanserte maskinlæringsteknikker.

Den anonyme Reddit-brukeren, som går under navnet deepfakes, har siden desember sluppet regelmessige videoer der han bytter ut ansiktet til pornostjerner med ansiktet til kjente og kjære Hollywood-stjerner.

Teknologien, som først ble omtalt av Motherboard i desember, er en slags avansert og svært virkelighetstro variant av filterfunksjonaliteten som finnes i apper som Snapchat og Facebook Messenger, og lar deg bytte ut et ansikt i en video med et annet.

Kvaliteten er det som gjør denne teknologien litt foruroligende: Tidligere varianter av samme teknologi har ikke klart å skape naturtro forfalskninger. I en video postet på Reddit er ansiktet til Emma Watson manipulert inn i en pornografisk hjemmevideo. Hvis man hadde vært uvitende om denne teknologien, ville det vært vanskelig å avskrive videoen som manipulert.

Verken Emma Watson eller noen av de andre kvinnene som er manipulert inn i videoene har gitt samtykke til å bli brukt i denne sammenhengen.

Da Motherboard først omtalte denne saken, var ikke denne teknologien noe mannen i gata kunne bruke. For å gjøre det litt enklere, har deepfakes laget Windows-applikasjonen FakeApp, som eksponerer den ganske så avanserte teknologien i et overkommelig brukergrensesnitt.

Programmet, som har fått det sømmelige navnet FakeApp, skal gjøre det ganske enkelt å bytte ut ansiktet på mennesker i videoer.

Med programmet, litt teknisk kompetanse og et par videoer av den du vil ha inn i den manipulerte videoen, kan angivelig hvem som helst lage ganske realistiske forfalskninger.

Men fungerer det?

Da vi kom over noen av disse eksemplene, tenkte vi at det kunne være interessant å teste teknologien på noe annet enn pornografisk materiale.

Hvis denne teknologien fungerer på et bredt utvalg bildemateriale, er det ikke usannsynlig at vi kommer til å se en stor vekst i produksjon av falske nyhetsvideoer. Med mediebrillene på er det ikke vanskelig å se de potensielt sett store konsekvensene dette kan få for samfunnet.

Se for deg at noen iscenesetter at en politiker går til fysisk angrep på et annet individ, ved å spille inn en hjemmevideo og i etterkant legge politikerens ansikt på videoen.

Vår første test var med to offentlige personer som det eksisterer mange bilder av: Donald Trump og vår egen kringkastingssjef, Thor Gjermund Eriksen.

FakeApp fungerer ved at du viser systemet en stor mengde bilder av personen du vil manipulere inn i videoen. Etter en stund blir systemet flinkere til å forstå hvordan ansiktet til vedkommende ser ut.

I dette tilfellet hentet vi en rekke stillbilder fra videointervjuer og taler fra både Trump og Eriksen inn i systemet. Vi trente systemet på omtrent 4000 bilder av Trump, og 1000 bilder av Eriksen, noe som ifølge utvikleren burde være tilstrekkelig for å få et godt resultat.

Slik lager systemet en falsk variant av Eriksens ansiktsuttrykk basert på bilder av Trump.

Når systemet trenes, tar det enkeltbilder av ansikter og manipulerer dem littegrann: I en variant kan munnen til Trump være større enn i originalen, i en annen variant litt mindre. Dette gjør systemet for å ha et enda større treningsgrunnlag for å anslå hvordan ansiktet til Trump kan se ut.

Underveis i prosessen får vi et estimat på hvor godt systemet er i stand til å transformere ansiktsuttrykkene til den ene på den andres ansikt. I bildet nedenfor ser vi en matrise der tre og tre bilder er gruppert sammen, hvor systemet forsøker å generere manipulerte varianter av ansiktsuttrykk som stemmer overens med originalen:

Etter en del runder med trening, begynte systemet å kunne produsere Trumps ulike ansiktsuttrykk på Eriksens ansikt.

Etter at systemet hadde stått og gått i et knapt døgn, var det endelig på tide å teste hvorvidt FaceApp kunne skape et troverdig innslag der Trump var gjest i Dagsrevyen:

Resultatet er ikke akkurat spesielt imponerende. Alt for lite av Trumps ansikt er manipulert inn på Eriksens hode, og fargeforskjellene gjør at det er helt uproblematisk å se at dette ikke er en reell video.

Vi kunne ikke gi oss med et såpass trasig resultat. En hypotese var at Eriksen og Trumps ansikter er litt for ulike, og at hudfargen er såpass forskjellig at det rett og slett blir vanskelig å få til et tilfredstillende resultat.

Bjarte flytter inn i Side om side

Hadde det ikke vært flott om alle fra Radioresepsjonen inntok Side om side? Jon Almaas og Bjarte Tjøstheim er ikke ulike, så vi tenkte at det måtte være mulig å legge Tjøstheims ansikt på Almaas’ karakter i serien, den overlegne og snobbete Christian Kopperud.

Etter et døgn med trening på ulike klipp fra Side om side, Ukens vinner og Presten, spyttet systemet ut noen ganske overbevisende klipp:

Det er absolutt ikke perfekt ennå, og hvis man gransker videoen litt nøye er det enkelt å se sømmene rundt Tjøstheims ansikt, men det begynner iallfall å ligne på noe.

Potensial i Hollywood

Det er ikke vanskelig å se for seg at denne typen teknologi kan ha mye for seg i Hollywood-produksjoner. En teknologi som kan plassere døde skuespillere i filmer, eller bytte ut skuespillere som har blitt bannlyst fra studioene på en litt mer effektiv måte, har absolutt noe for seg.

En Reddit-bruker har allerede forsøkt å gjenskape en scene fra Star Wars-filmen Rogue One med FaceApp.

I Rogue One ble en scene med en ung utgave av karakteren Princess Leia gjenskapt digitalt av filmstudioet. Den digitale modellen av Princess Leia var absolutt av grei grafisk kvalitet, men en bruker på Reddit mente han kunne gjøre det like godt med FakeApp. Han matet systemet med tusenvis av arkivbilder av Carrie Fisher, som spilte Princess Leia i alle de tidligere Star Wars-filmene, og sluttresultatet er ganske imponerende.

Videoen nedenfor viser originalen fra filmen øverst, og versjonen generert med FakeApp nederst:

Det er mye som tyder på at denne teknologien får implikasjoner for fremtiden, både i positiv og negativ retning, så fremover er det bare å skjerpe den kritiske sansen.

23 kommentarer

  1. Håvard Skotterud

    «Den siste trenden på nettsamfunnet Reddit er å lage pornovideoer der skuespillerens ansikt er byttet ut med ansiktet til en kjendis.»
    Føler denne setningen malte et dårlig bilde over nettsiden Reddit, en nettside med ekstremt mange subredditer som ikke er relatert til denne saken på noen måte. Saken gjelder nok bare noen fåtall av disse subredditene, men som det er skrevet virker det som om det er en trend på hele siden.
    Ellers en informerende og bra artikkel!

    Svar på denne kommentaren

    • Jeg tror de fleste er klar over at Reddit har mange under-forum. Vi valgte derfor ikke å spesifisere ytterligere i hvilke forum dette foregår (av kanskje åpenlyse grunner?).

      I saken framgår det heller ikke at dette er noe «alle» på Reddit gjør.

    • Robert Pedersen (svar til Martin Gundersen)

      Jeg mistenker at du overvurderer folks kjennskap til reddit kraftig. dinside.no hadde en sak for 6 måneder siden hvor reddit ble beskrevet: «Men altfor mange kjenner fortsatt ikke til [reddit]. Dette er reddit: […].» Videre: når det snakkes om trender på sosiale medier tenker folk flest på saker som går viralt. reddit har over 200 millioner unike besøkende i måneden, og subredditene det er snakk om i denne artikkelen blir besøk av noen titalls tusen.

  2. Atle Tegle Åmodt

    Synes det er litt stygt å greie hele reddit under en kam. Det blir litt som å si at alle i arbeiderpartiet er ufysne på fest når det egentlig bare er Trond Giske. Saken i seg selv er god og interessant, men det er litt billig å kaste hele Reddit under bussen.

    Se på det slik; om det hadde vært en person eller en side på facebook som hadde gjort det, ville det da vært rett å si at det var «den nye trenden på facebook»? Synes du skal omformulere deg litt.

    Svar på denne kommentaren

  3. Jeg tipper det er bedre resultat på jenter og gjerne skuespillere da håret deres forandres ofte. Det er litt verre å få akseptable resultat med en mann vi vet er skallet og en som har hår(eller parykk).

    Svar på denne kommentaren

    • Bayfront (svar til Eivind)

      I efterretningssammenheng er det nok lenge siden at bilder av mennesker ble brukt som hoved-«underlag». Da forholder en seg mer til at lyd, og spesielt formuleringer er langt vanskeligere å endre/manipulere. Men selvfølgelig blir disse billedmanipuleringene en ny utfordring for algoritmene.

  4. Når det gjelder Trump vs. Eriksen, så må det jo være lov å påpeke at de har litt forskjellig frisyre.
    Kanskje resultatet hadde vært bedre om dere hadde brukt bilder av HODENE deres, i stedet for små utklipp av ansiktene. Dere kan jo ikke klage over at altfor lite av ansiktet til Trump er manipulert inn, når dere ikke gir programmet mer enn det vesle utsnittet av ansiktet.

    Dette burde dere ha skjønt selv.

    Svar på denne kommentaren

    • Hei, Jon Inge! Det er forsåvidt et poeng. Verktøyet som klipper ut ansiktet er en integrert del av FaceApp-applikasjonen, så vi har ikke så mye kontroll over hvor stort utsnitt den gjør av ansiktet. Det fins noen parametere man kan skru på for å justere hvor mye av ansiktet som skal manipuleres inn, men vi gikk ikke så i dybden på akkurat denne funksjonaliteten.

  5. Thorbjørn Hellehaven

    Noe tilsvarende teknikk ble brukt for å gjenskape en ung Pricess Leia i en av de nyere Star Wars-filmene.
    En tidligere kommentar snakker også om relaterte temaer som syntetisk lipsync. Kan man se for seg at det kan brukes for å oppnå samsvar mellom bilde og lyd ved dubbing av film? Filmer kan da få flere varianter av bildespor, i samsvarmed lydspor man velger.

    Svar på denne kommentaren

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *