Augmented Reality-grafikk i VM-studio

---

Under VM på ski i Falun brukte NRK Augmented Reality(AR)-grafikk i studio fra kveldssendingene med Anne Rimmen og Thomas Alsgaard. Dette var første forsøk med nytt trackingsystem.

Denne artikkelen er skrevet av Anders Baggethun og Christian Sletten Eide – Utviklere i NRK Grafisk design

Hva er AR?

I TV-produksjon skiller man mellom Augmented Reality (AR) og Virtual Reality (VR). Den tradisjonelle formen for VR er når en programleder blir nøklet eller klippet ut, og plassert inn i et grafisk generert virtuelt studio. Dette brukes blant annet i NRK Supernytt.

AR er på mange måter det motsatte av VR: I stedet for å plassere et ekte objekt inn i en grafisk verden, plasserer man et grafisk element inn i den virkelige verden. Målet er å skape en illusjon av at grafikken eksisterer i det fysiske TV-studioet.

Tradisjonell TV-grafikk legges oppå kamerabildene og reagerer ikke på endringer i bildet. Med AR-grafikk vil derimot grafikken beholde sin posisjon i rommet når kameraet beveger seg. Man kan for eksempel plassere et grafisk element på et bord, og grafikken vil holde sin posisjon på dette bordet når kameraet beveger seg i studio. For å få til dette må grafikksystemet vite hvordan det fysiske kameraet i studio beveger seg, såkalt tracking.

Hvordan fungerer det?

AR-grafikk fungerer ved at det ekte kameraets bevegelser matches opp med et virtuelt kamera internt i grafikkprogramvaren. Beveger det ekte kameraet seg til venstre og zoomer inn, vil det interne virtuelle kameraet i grafikkmotoren gjøre det samme. På denne måten får man som seer inntrykk av at grafikk og livebilder henger sammen. For å få til denne kameratrackingen trengs det et system for kontinuerlig å lese av kameraets posisjon, pan, tilt, zoom, fokus, høyde og så videre.

I denne produksjonen brukte vi for første gang et trackingsystem fra Stype Grip. Dette er et mekanisk trackingsystem for Stanton Jimmy Jib kamerakran. Det er en del nytt utstyr som må kobles på kranen, blant annet et par sensorer på kranbasen og nye motorer med sensorer. Dette gir oss kontinuerlig data om pan og tilt fra selve kranarmen, samt informasjon om pan og tilt fra selve kamerahodet. I tillegg er det decodere på selve kameraet som leser av fokus og zoom. Data fra Stype sendes så over nettverk til et dedikert nettverkskort i grafikkmaskinen som tolker datastrømmen.

I NRK bruker vi verktøy fra det norske grafikksystemet Vizrt i de aller fleste produksjoner. Dette er et realtime 3D grafikksystem som lar oss generere alt fra enkle supringer til virtuell grafikk. Internt i designprogramvaren Viz Artist, kan vi generere 3D-elementer og plassere disse utover i XYZ-aksene.

Normalt vil vi kontrollere virtuelle kameraer i programvaren manuelt for å vise grafikken fra de vinklene vi ønsker. For å vise AR-grafikk lar vi derimot de virtuelle kameraene styres av bevegelsene til det trackede kameraet i studio. Dette krever omfattende kalibrering av kameraets posisjon, linse og fokus.

 Sanntidsgrafikk

En utfordring ved AR-grafikk er at den må genereres i sanntid. Når det produseres vignetter og andre tyngre grafikkelementer er det ikke uvanlig å bruke timer eller dager på å rendre få sekunder med grafikk. Denne luksusen har ikke vi som arbeider med realtime grafikk. Vi må forholde oss til det CPU og GPU på grafikkmaskinen klarer å levere oss i sanntid. Dette medfører blant annet at vi ikke kan bruke motion blur, global illumination, refleksjoner, skygger eller andre effekter for å gjøre modellen så virkelighetstro som mulig.

Hva designet vi?

Til åpningen av årets vintersesong introduserte NRK den nye designprofilen til NRK Sport. Dette designet var utgangspunktet for grafikkpakken som vi utviklet til sendingene fra VM-studio. Med utgangspunkt i lysbåndene i vignetten til NRK Sport ble det generert 3D-elementer til bruk i Viz Artist.

Disse båndene ble brukt som bakgrunn for enkeltbilder, tidsskjema elementer, Instagrambilder, Twittermeldinger, head-to-head bilder og logo. Vi lagde i tillegg kunstige refleksjoner i gulvet for å selge illusjonen av at grafikken faktisk befant seg i rommet.

Inspirert av svensk Viasats falske virtuelle vegg lagde også vi en vegg for å vise video og medaljestatistikk. I tett samarbeid med scenograf Audun Stjern fikk vi tegninger av VM-studioet og mål på hvert enkelt element som scenografien skulle bestå av.

Elementene ble så gjenskapt i 3D. Gjennom en møysommelig kalibreringsprosess i Falun, ble disse elementene 3D-mappet opp mot de ekte elementene i studio. Deretter  ble grafikkens farger og lyssetting skrudd til slik at man skulle oppfatte 3D-elementene som en sømløs del av scenografien.

Bak den grafiske veggen lagde vi så et virtuelt rom. Tanken var at veggen skulle åpne seg opp og vise et landskap som fortsatte innover i scenografien. Dette for å skape dybde og parallakse mellom forgrunn og bakgrunn i veggen.

Åpningsskudd

Det var ønsket en inngang til studio etter vignetten og dagens stemningsvideo på sendingene. Vi satte opp ett system som sømløst skiftet fra en kameraanimasjon i grafikksystemet til trackingkontrollert kamerabevegelse. I rommet vi hadde laget i veggen satt vi opp et kamera som filmet av en videoinngang i grafikksystemet. Vi kunne dermed spille av åpningsvideoen gjennom grafikksystemet.
Når videoen nærmet seg slutten kunne grafikkoperatør Chris Nicolay Wernersen trigge en overgang mellom de to virtuelle kameraene. Kameraet ville da bevege seg bakover og «avsløre» at videoen vi akkurat hadde sett, faktisk befant seg i en grafisk verden. Videre ble «VM-studio i Falun»-logoen avslørt, og man endte tilslutt opp i det faktiske studioet med Anne Rimmen og Thomas Alsgaard. Kranfotograf Jan Erik Finsæther startet samtidig en bevegelse med sitt ekte kamera i omtrent samme hastighet som overgangen mellom disse to kameraene for at vi skulle få en helt flytende overgang. Her var det viktig med god timing. For tidlig og raskt medførte at grafikken ikke ville sitte perfekt kalibrert på veggen. For sent medførte at kjøringen ville stoppe opp.

Terrengmodell

I tillegg konstruerte vi en 3D-modell av terrenget ved Lugnet skistadion i Falun der øvelsene ble arrangert. Denne skulle vi bruke for å vise morgendagens løypeprofil for langrenn og kombinert, samt legge inn modeller av hoppbakkene i Falun. For at denne modellen skulle være nyttig var vi avhengig av en nøyaktig modell som viste alle høydeforskjeller i området, ikke minst den beryktede «Mørdarbakken».

Det var vanskelig å få tak i høydedata, såkalt DEM-data, i tilstrekkelig høy oppløsning fra det omtrentlig 2 kvadratkilometer store området i Falun vi trengte. NRK har tilgang til høydedata for hele verden med en gridspacing på 30 meter, og for Norge har vi tilgang på høydedata ned til 5 meter gjennom Kartverket.

30 meters gridspacing vil si at man måler høyden hver 30 meter i en grid, noe som er for grovt for et så lite område som vi ønsket. Det Svenske kartverket, Lantmäteriet, har laserskannede høydedata av hele Sverige ned til 2 meter, men dessverre er ikke disse dataene fritt tilgjengelig.

Vi fant til slutt fritt tilgjengelige kartdata som rasterbilder med høydekurver ned til 5 meter for området vi ønsket. Dette gjorde at vi kunne lage et vektorbasert kartgrunnlag med høydekurver over Lugnet skistadion.

Vi dekket så denne modellen i gråtoner, der svart er laveste punkt på kartet, og hvitt er høyeste. Dette ga oss ett gråtonebilde vi kunne ta inn i 3D-programmet Cinema 4D og bruke som en displacement map.

De 14 forskjellige løypene som ble brukt under mesterskapet ble deretter projisert ned på denne modellen, animert og eksportert som 3D-objektsekvenser til Vizrt-grafikksystemet.

Erfaringer

NRK var noen av de første i verden til å bruke kompleks AR-grafikk på TV under OL i Torino i 2006.

Siden den gang har det i all hovedsak vært fokus på virtuelle studioer i NRK, og dette var et av de første forsøkene siden 2006 på AR-grafikk. Som et slags pilotprosjekt for AR-grafikk i NRK, har vi tatt med oss en lang rekke erfaringer for både bruksområder og tekniske løsninger.

Kranfotograf Jan Erik Finsæther sier:

Å jobbe med AR-grafikk legger opp til et tettere samarbeid mellom kranfører og grafikk. Man må ha en dialog om hvor man legger grafikken og prøve seg frem for å se hvor den fungerer best. Det er en ny og moro måte å jobbe på som gir andre utfordringer.

Det er viktig å finne riktig bruksområde for denne teknologien og identifisere steder hvor det kan gi en merverdi til produksjonen, både visuelt og informativt. Noen ganger vil en vanlig supring eller fullskjermplakat gi samme nytteverdi som AR-grafikk. Å finne den riktige kombinasjonen av tradisjonelle supringer, fullskjermplakater, skjermer i studio og AR-grafikk, er en balansegang vi vil fortsette å jobbe med i kommende produksjoner.