nrk.no

Da The Rolling Stones besøkte Fornebu – i farger?

Kategorier: Kunstig intelligens,NRK,Open Source & Software

Vi har satt en datamaskin til å fargelegge sort-hvitt-filmer.

Den eksplosive utviklingen innen kunstig intelligens og maskinlæring har ført til en rekke interessante prosjekter. Vi har testet en teknologi som fargelegger svart-hvitt-bilder.

For en stund siden kom vi over et program som heter autocolorize. Programmet er bygget for å fargelegge svart-hvitt-bilder, noe som vi tenkte kunne være interessant å teste på klipp fra NRK-arkivet.

Programmet kan også brukes til å se eldre slektninger i farger, om det er oldemor eller -far. Faktisk kan du ta hele familiekatalogen når du først er i gang.

Som alltid med ny teknologi er det noen begrensninger, så la oss først si noe om hvordan det fungerer.

Denne teknologien er trent opp på en finurlig måte. Tusenvis av fargebilder blir gjort om til svart-hvitt, og fôret inn i et nevralt nettverk. Nettverket blir så forklart hvordan det opprinnelige fargebildet ser ut. Etter en rekke treningsrunder, får systemet en bedre forståelse for hvordan det skal fargelegge svart-hvitt-bildet.

Slik gjetter programmet seg til at tre små kuler sannsynligvis er røde tomater:

Nettverket fôres først med bildene som er svart-hvitt, og blir så fortalt hvordan det skal se ut når det er fargelagt. Faksimile: Learning Representations for Automatic Colorization

Autocolorize er trent opp på en rekke ulike motiver og situasjoner, noe som gjør at programmet i teorien skal kunne fargelegge de fleste bilder man fôrer inn i det.

Men: Om programmet får inn noe det aldri har sett før kan resultatet bli helt feil.

Rolling Stones går av flyet på Fornebu i 1965

Vi tok en runde i redaksjonen for å finne ut hvilket klipp som kunne være morsomt å teste denne teknologien på. Den kjente tannlegesketsjen med Rolv Wesenlund og Harald Heide Steen Jr. var oppe til diskusjon, men på grunn av rettighetsproblematikk falt vi på et annet klipp som mange i den eldre garde vil huske: Da The Rolling Stones besøkte Norge i 1965.

Utover at klippet er godt kjent for store deler av den norske befolkningen (over en viss alder), valgte vi dette klippet fordi vi ville teste om Autocolorize fungerer på gammelt materiale. Videoklippet er tatt opp utendørs, og avbilder både bygninger, fly, biler og mennesker. Om dette fungerer bra nok kan det ha noe for seg i kommersiell TV-produksjon, og ikke bare som lek og moro.

Den automatiske fargeleggingsprosessen involverer mange manuelle steg. Først måtte vi hente filmen fra NRKs digitale programarkiv, og laste den ned til maskinen som skulle gjennomføre fargeleggingen. Filmen måtte så konverteres til 1600 stillbilder, siden Autocolorize ikke støtter videofiler direkte.

1600 stilllbilder klare til konvertering.

Selve fargeleggingen krever mye ressurser, så vi satt opp en dedikert maskin med et kraftig skjermkort til å gjøre jobben. Noen timer senere var alle bildene ferdig fargelagt, og vi kunne sy dem sammen til en film.

Resultatet kan du se nedenfor:

Ikke bare fryd og gammen

Først det åpenbare. Algoritmen sliter med et par scener i klippet og flere bilder har store områder med grått.

Videre var det gamle Terminalbygget på Fornebu blått, og ikke rødt, som Autocolorize har valgt å fargelegge det.

Vi syns likevel at resultatet er spennende, og det er morsomt å se dette klippet i farger – selv om algoritmen bommer ved jevne mellomrom.


Det er liten tvil om at teknologien kan ha noe for seg, enten ved å manuelt trene systemet på ytterligere bildemateriale som ofte dukker opp i filmverdenen, eller ved å finne arkivmateriale som er filmet i omgivelser som er enklere å fargelegge.

Har du noen idéer til arkivklipp som vi burde forsøke å fargelegge? Skrik ut i kommentarfeltet!

24 kommentarer

  1. Lar det seg gjøre å trene opp programmet med egne eksempler? Jeg har en svart-hvitt kopi av den originale From All of Us to All of You (Donald Duck og vennene hans ønsker god jul), som inneholder flere scener som ikke er med i dagens program. Det kunne vært interessant å prøve å bruke scenene som finnes i begge programmene til å lære programmet hva de riktige fargene er, og så fargelegge de resterende scenene ut fra dette.

    Svar på denne kommentaren

    • keal (svar til Knekt)

      Disclaimer: Har ikke sett De dødes tjern.

      Jeg har sett mange filmer i svart-hvitt. Mange ville tape vesentlige kvaliterer om de gjorde scenene «naturalistiske» ved å legge på farger. Filmatisering av «Johnny got his gun» (1.verdenskrig humørdreper) i farger? Ville vært helt meningsløst!

      På stillbilde-siden følger jeg regelmessig yourshot.nationalgeographic.com/daily-dozen/ (anbefales, som foto-inspirasjon!) – der presenteres stadig bilder i svart-hvitt som vinner på forenklingen det gir å ikke blande inne en fargeskala.

      For en del år siden så jeg en remake av en klassiker (tror det var «Den sjuende mann») gjort i monokrom, men scenene var tintet ulikt, for å formidle en viss stemning, en viss kontekst. Det var utrolig virkningsfullt!

      Så med andre, utvalgte ord: Der er slett ingen garanti for at fulle farger gir noen større opplevelse. Hva ville «Blair Witch project» vært med samtlige klipp i 4K fullfarge med stabilisert kamera?

      Kanskje De dødes tjern ville vinne på å få lagt til farger. Men kanskje ikke.

    • Tore Bernhoff (svar til Knekt)

      KEAL – Johnny Got His Gun var skutt i BÅDE s/hv og farger. Dårlig eksempel. Fantastisk antikrigsfilm!

      TB

  2. Bra prosjekt 🙂 Husker jeg så denne tidligere, men har liten erfaring med caffe og python, så tok meg ikke bryet med å utforske. Men ser at man kan trene programmet opp i /train-mappa, slike at man kan lage referanse-bilder.

    Kanskje dette er ett typisk prosjekt hvor vi alle sammen kan gå sammen med å dele /train-mappa.

    Hvordan gikk dere fram for å få installert?

    Svar på denne kommentaren

  3. Får meg til å tenke på en gammel svart-hvitt Stompa-film, der rektor Ulrichsen (om jeg husker rett) har fått seg smalfilmkamera og filmer guttene, bl.a. i et stafettløp ute i naturen. Filmen avsluttes med en stor fest før elevene drar på skoleferie, der Ulrichsen viser fram filmen han har tatt – og der skifter det over til farger! Da jeg som smågutt så denne filmen på kino, gikk det et gisp gjennom salen da det pluselig var farger – det var ikke hverdagskost på 60-tallet!

    Så kom alle Stompa-filmene ut på DVD, og jeg stilte meg først i køen for å få gjennoppleve den fantastiske følelsen av at det nærmest gikk fra å være film til virkelighet (det var omtrent slik jeg opplevde det i kinosalen)

    … men filmen var digitaliser i svart-hvitt hele veien! De siste scenene fra Ulrichsens smalfilm-kamera var like gråtonet som himmelen rett før tordenværet bryter løs – jeg var nær ved å kaste DVD-skiva i femte veggen, trampe på etuiet og brenne omslaget!

    Fargefilm var så mye dyrere dengang at man ikke hadde råd til å lage hele filmen i farger. Og det kan hende at de som digitaliserte filmen bare hadde tilgang til en kopi der man ikke hadde tatt seg råd til å gjrøe noe i farger – hvis det faktisk var farger på de siste scenene er det en skam om de som gjorde digitaliseringen overså det!

    Kanskje filmen kan digitaliseres på nytt ut fra en skikkelig kopi med de siste par minuttene i farger! Da kjøper jeg gjerne et nytt eksemplar så jeg kan fryde meg over å knekke den gamle skiva med mine egne hender!

    Svar på denne kommentaren

  4. Utstudert Forlengst

    Skjønner ikke noe av dette, jeg. Gamle dager var jo svart/hvitt, hvorfor skal man nå plutselig fargelegge? Har ikke ungdommen nok å gjøre med de sociale mediene sine?

    Svar på denne kommentaren

    • Farger gjør susen, ellers hadde vi hat sort/hvitt tv enda. Det gjør også at ungdomen «ser» det bedere.

      Gamle bilder, som er i sot/hvitt er minner som var i farger – å få gjenoppleve det i farger blir veldig sterkt.
      Har selv fargelagt bilder som er i sort/hvitt, det blir veldig sterkt for de som er på bildet og deres barnebarn/barn å få det i farger/glass og ramme.

      Verden var ikke i sort/hvitt på 60tallet eller før.

      Men å trykke på en «knapp» blir ikke like bra som manuelt.. (…i skrivende stund…) 🙂

    • Du kjenner tydeligsvis en av mine favoritt-Tommy-og-Tigeren-striper 🙂

      For uinnvidde: Tommys pappa er ekstremt opptatt av å kunne forklare sin sønn verden. Når Tommy spør hvorfor alle de gamle bildene bare er i svart-hvitt svarer pappa at «Det var fordi verden VAR i svart-hvitt, fram til en gang på 60-tallet, Først da fikk verden farger». «Men pappa, hvorfor ble ikke de gamle svart-hvitt-bildene til farger når verden ble det?» «Jammen de BLE det – de er fargebilder av en verden som var i svart-hvitt!»

      Noen ganger er jeg usikker på om jeg er mest glad i Tommy eller i pappaen hans. Dette er en av de stripene der deg er svært nær ved å lande på pappaen. 🙂

  5. Dette får meg til å tenke på hvordan man kunne trent algoritmen raskere. Den skulle kunne gjøre om til svart hvitt selv, og så fetche veldig store mengder bilder fra nettet, og gjøre alt arbeidet med trening selv.

    Svar på denne kommentaren

    • keal (svar til Daniel)

      Hvis jeg nå leser et sted at ‘det er akkurat slik vi har trent algoritmen’ blir jeg ca. 0% overrasket.

      Var nettopp på tur oppover Sverige. En million fargebilde konvertert til s/v ville lære algotitmen at ‘Hvis et bilde viser en hus-fasong og lysstyrken er lav, da er fargen rød. Er lysstyrken høy, da er fargen hvit».

      Det kan naturligvis anvendes for S/H-bilder: Alt med form som et hus og som er lyst, farges hvitt. Alt med form som et hus som er mørkt farges rødt.

      Men det stemmer langt fra bestandig. I mange boligfelter fra 1960- og 1970-tallet et «mørke» hus brunbeiset, slett ikke røde. I eldre strøk er «lyse» hus slett ikke hvite, men okergule.

      Du kan slå fast at ‘for dette huset betyr akkurat denne gråtonen (i akkurat dette lyset) at huset er malt i oker’ – men å slutte at ethvert hus i samme gråtone på et rent s/h-bilde, uansett omgivelser og samfunn og lysforhold, derfor betyr at også dette huset er oker-farget, er nok en noe frihetlig tolking av fakta, for å si det sånn.

      Med kjennskap til hvordan kulturelle moter svingt opp gjennom tidene på der bildet er fra, pålitelig dato for når bildet ble tatt osv. kan nok AI komme noen steg nærmere til en korrekt gjetting. Men det avhenger i svært stor grad av hvilken kulturell tillegg-informasjon, metainformasjon, som er tilgjengelig for hvert enkelt bilde.

      En massiv mengde bilder uten slik informasjon gir minimal hjelp til å fastslå hva en viss gråtone representerer på fargskalaen, i andre bilder enn akkurat det du har konvertert fra farger til gråtoner. Det måtte være om algoritmen kunne identifisere en haug andre hint, som at «Dette ser ut til å være et ustslitt hus i Nordre Småland, som ikke ser ut til å ha vært bebodd de siste 30 år. På 1980-tallet var grønne farger populære, så la oss anta at huset var grønnmalt…». Om du vil kalle slikt «a qualified guess» eller «an unqualified guess» kan avhenge av om du har bodd i huset eller ikke 🙂

Legg igjen en kommentar til Daniel Avbryt svar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *. Les vår personvernserklæring for informasjon om hvilke data vi lagrer om deg som kommenterer.