Deepfake-eksperten Sham00k har laget en video hvor skuespiller og imitator Jim Meskimen blir transformert til 20 kjente og kjære Hollywood-kjendiser.
Jim Meskimen jobber som profesjonell imitator, og på hans YouTube-kanal kan man se en rekke videoer der han etterligner alt fra George Bush til Johnny Depp.
Som de fleste imitatorer har han god kontroll på både stemme og mimikk til de han forsøker å etterligne. Men det er alltid enklere å høre ut som noen andre, enn å se ut som de.
Der kommer deepfake-teknologi inn.
«Deepfake» er et samplebegrep for en rekke teknologier som benytter seg av maskinlæring for å bytte ut et ansikt i en video med et annet. Se på det som en slags avansert variant av filterne som finnes i de fleste sosiale bildedelingsapper.
Jim Meskimen har sammen med deepfake-eksperten Sham00k laget denne videoen, der Meskimens stemme-imitasjoner slås sammen med en svært veltrent deepfake-modell. Resultatet er ganske oppsiktsvekkende:
For å lage denne videoen har Sham00k tatt originalklippet fra Meskimen, og har hentet ned over 1200 timer med video av de forskjellige kjendisene Meskimen etterligner.
Disse 1200 timene med video har så blitt splittet opp i 300 000 stillbilder, som Sham00k har brukt til å trene en maskinlæringsmodell. Med et så omfattende datagrunnlag er modellen i stand til å «bytte ut» Meskinens ansikt med kjendisene han etterligner.
På sin YouTube-kanal har Sham00k lagt ut en video som viser hvordan han har jobbet:
En av grunnene til at deepfake-teknologien fortsatt ikke er i stand til å lure de store massene, er at man må ha flere komponenter for å lage en overbevisende falsk video.
Det visuelle kan godt være svært troverdig, men det hjelper lite så lenge personens stemme og mimikk ikke stemmer overens med personen man forsøker å plassere inn i videoen. Og nettopp derfor er denne videoen så imponerende: Meskinen er flink på stemmer og mimikk, og Sham00k har god kontroll på det visuelle.
NRKbeta har testet denne teknologien i flere omganger, og har blant annet fått Yama Wolasmal fra Dagsrevyen til å snakke samisk, og har plassert Bjarte Tjøstheim inn i Side om side.
Fra politisk hold er det knyttet mye frykt til denne teknologien. Amerikanske myndigheter følger nøye med på hvorvidt deepfakes vil utgjøre en trussel i det neste amerikanske presidentvalget, mens Facebook og Microsoft har sammen lansert et enormt datasett og en konkurranse for å detektere deepfakes.
Dette ser jo bare ut som samme fyren som gjør masse grimaser? Skjønner jo hvem han prøver å etterligne, men ser ikke ut som de ekte personene i det hele tatt.
Jeg er enig at det bare så ut som samme personen i starten, men etterhvert så jeg mer tydelige forandringer i fjeset og at det var noe datateknologi tilstede. Det er mest synlig kanskje når ansiktet plutselig skal imitere en afroamerikansk, da skjer det noe med fargene i ansiktet. Ellers er jo de fleste av de andre personene han imiterer hvite eldre menn, som gjør at veldig lite må endres siden skuespilleren ligner på de personene i utgangspunktet.