nrk.no

Augmented Reality-grafikk i VM-studio

Kategori: Design


Under VM på ski i Falun brukte NRK Augmented Reality(AR)-grafikk i studio fra kveldssendingene med Anne Rimmen og Thomas Alsgaard. Dette var første forsøk med nytt trackingsystem.

Denne artikkelen er skrevet av Anders Baggethun og Christian Sletten Eide – Utviklere i NRK Grafisk design

Hva er AR?

I TV-produksjon skiller man mellom Augmented Reality (AR) og Virtual Reality (VR). Den tradisjonelle formen for VR er når en programleder blir nøklet eller klippet ut, og plassert inn i et grafisk generert virtuelt studio. Dette brukes blant annet i NRK Supernytt.

AR er på mange måter det motsatte av VR: I stedet for å plassere et ekte objekt inn i en grafisk verden, plasserer man et grafisk element inn i den virkelige verden. Målet er å skape en illusjon av at grafikken eksisterer i det fysiske TV-studioet.
VRvsAR

Tradisjonell TV-grafikk legges oppå kamerabildene og reagerer ikke på endringer i bildet. Med AR-grafikk vil derimot grafikken beholde sin posisjon i rommet når kameraet beveger seg. Man kan for eksempel plassere et grafisk element på et bord, og grafikken vil holde sin posisjon på dette bordet når kameraet beveger seg i studio. For å få til dette må grafikksystemet vite hvordan det fysiske kameraet i studio beveger seg, såkalt tracking.

Hvordan fungerer det?

AR-grafikk fungerer ved at det ekte kameraets bevegelser matches opp med et virtuelt kamera internt i grafikkprogramvaren. Beveger det ekte kameraet seg til venstre og zoomer inn, vil det interne virtuelle kameraet i grafikkmotoren gjøre det samme. På denne måten får man som seer inntrykk av at grafikk og livebilder henger sammen. For å få til denne kameratrackingen trengs det et system for kontinuerlig å lese av kameraets posisjon, pan, tilt, zoom, fokus, høyde og så videre.

I denne produksjonen brukte vi for første gang et trackingsystem fra Stype Grip. Dette er et mekanisk trackingsystem for Stanton Jimmy Jib kamerakran. Det er en del nytt utstyr som må kobles på kranen, blant annet et par sensorer på kranbasen og nye motorer med sensorer. Dette gir oss kontinuerlig data om pan og tilt fra selve kranarmen, samt informasjon om pan og tilt fra selve kamerahodet. I tillegg er det decodere på selve kameraet som leser av fokus og zoom. Data fra Stype sendes så over nettverk til et dedikert nettverkskort i grafikkmaskinen som tolker datastrømmen.

Studio1
Stype Kit montert på kranen. Monitorer på kranen for program, kranbilde og kranbilde med grafikk. Foto: Jan Erik Finsæther

I NRK bruker vi verktøy fra det norske grafikksystemet Vizrt i de aller fleste produksjoner. Dette er et realtime 3D grafikksystem som lar oss generere alt fra enkle supringer til virtuell grafikk. Internt i designprogramvaren Viz Artist, kan vi generere 3D-elementer og plassere disse utover i XYZ-aksene.

Normalt vil vi kontrollere virtuelle kameraer i programvaren manuelt for å vise grafikken fra de vinklene vi ønsker. For å vise AR-grafikk lar vi derimot de virtuelle kameraene styres av bevegelsene til det trackede kameraet i studio. Dette krever omfattende kalibrering av kameraets posisjon, linse og fokus.

Fra studio under sending, sett fra kranfotografs ståsted. Foto: Jan Erik Finsæther
Fra studio under sending, sett fra kranfotografs ståsted. Foto: Jan Erik Finsæther

 Sanntidsgrafikk

En utfordring ved AR-grafikk er at den må genereres i sanntid. Når det produseres vignetter og andre tyngre grafikkelementer er det ikke uvanlig å bruke timer eller dager på å rendre få sekunder med grafikk. Denne luksusen har ikke vi som arbeider med realtime grafikk. Vi må forholde oss til det CPU og GPU på grafikkmaskinen klarer å levere oss i sanntid. Dette medfører blant annet at vi ikke kan bruke motion blur, global illumination, refleksjoner, skygger eller andre effekter for å gjøre modellen så virkelighetstro som mulig.

Hva designet vi?

Til åpningen av årets vintersesong introduserte NRK den nye designprofilen til NRK Sport. Dette designet var utgangspunktet for grafikkpakken som vi utviklet til sendingene fra VM-studio. Med utgangspunkt i lysbåndene i vignetten til NRK Sport ble det generert 3D-elementer til bruk i Viz Artist.

Twittermelding brukt i sending
Twittermelding brukt i sending

Disse båndene ble brukt som bakgrunn for enkeltbilder, tidsskjema elementer, Instagrambilder, Twittermeldinger, head-to-head bilder og logo. Vi lagde i tillegg kunstige refleksjoner i gulvet for å selge illusjonen av at grafikken faktisk befant seg i rommet.

Kunstig refleksjon av båndet i gulvet
Kunstig refleksjon av båndet i gulvet

Inspirert av svensk Viasats falske virtuelle vegg lagde også vi en vegg for å vise video og medaljestatistikk. I tett samarbeid med scenograf Audun Stjern fikk vi tegninger av VM-studioet og mål på hvert enkelt element som scenografien skulle bestå av.

Virkelig vegg bygget opp som scenografi.
Virkelig vegg bygget opp som scenografi.

Elementene ble så gjenskapt i 3D. Gjennom en møysommelig kalibreringsprosess i Falun, ble disse elementene 3D-mappet opp mot de ekte elementene i studio. Deretter  ble grafikkens farger og lyssetting skrudd til slik at man skulle oppfatte 3D-elementene som en sømløs del av scenografien.

Viser overgangen mellom ekte og virtuelle veggelementer. Beklager dårlig videokvalitet, filmet med mobilen en sen kveld. Foto: Christian Sletten Eide
Overgangen mellom ekte og virtuelle veggelementer. Dårlig videokvalitet, filmet med mobilen en sen kveld. Foto: Christian Sletten Eide

Bak den grafiske veggen lagde vi så et virtuelt rom. Tanken var at veggen skulle åpne seg opp og vise et landskap som fortsatte innover i scenografien. Dette for å skape dybde og parallakse mellom forgrunn og bakgrunn i veggen.

Fra utviklingen av det virtuelle rommet
Fra utviklingen av det virtuelle rommet i Viz Artist

Åpningsskudd

Det var ønsket en inngang til studio etter vignetten og dagens stemningsvideo på sendingene. Vi satte opp ett system som sømløst skiftet fra en kameraanimasjon i grafikksystemet til trackingkontrollert kamerabevegelse. I rommet vi hadde laget i veggen satt vi opp et kamera som filmet av en videoinngang i grafikksystemet. Vi kunne dermed spille av åpningsvideoen gjennom grafikksystemet.
Når videoen nærmet seg slutten kunne grafikkoperatør Chris Nicolay Wernersen trigge en overgang mellom de to virtuelle kameraene. Kameraet ville da bevege seg bakover og «avsløre» at videoen vi akkurat hadde sett, faktisk befant seg i en grafisk verden. Videre ble «VM-studio i Falun»-logoen avslørt, og man endte tilslutt opp i det faktiske studioet med Anne Rimmen og Thomas Alsgaard. Kranfotograf Jan Erik Finsæther startet samtidig en bevegelse med sitt ekte kamera i omtrent samme hastighet som overgangen mellom disse to kameraene for at vi skulle få en helt flytende overgang. Her var det viktig med god timing. For tidlig og raskt medførte at grafikken ikke ville sitte perfekt kalibrert på veggen. For sent medførte at kjøringen ville stoppe opp.

Terrengmodell

I tillegg konstruerte vi en 3D-modell av terrenget ved Lugnet skistadion i Falun der øvelsene ble arrangert. Denne skulle vi bruke for å vise morgendagens løypeprofil for langrenn og kombinert, samt legge inn modeller av hoppbakkene i Falun. For at denne modellen skulle være nyttig var vi avhengig av en nøyaktig modell som viste alle høydeforskjeller i området, ikke minst den beryktede «Mørdarbakken».

Ferdig modell fra sending
Ferdig modell fra sending

Det var vanskelig å få tak i høydedata, såkalt DEM-data, i tilstrekkelig høy oppløsning fra det omtrentlig 2 kvadratkilometer store området i Falun vi trengte. NRK har tilgang til høydedata for hele verden med en gridspacing på 30 meter, og for Norge har vi tilgang på høydedata ned til 5 meter gjennom Kartverket.

30 meters gridspacing vil si at man måler høyden hver 30 meter i en grid, noe som er for grovt for et så lite område som vi ønsket. Det Svenske kartverket, Lantmäteriet, har laserskannede høydedata av hele Sverige ned til 2 meter, men dessverre er ikke disse dataene fritt tilgjengelig.

Vi fant til slutt fritt tilgjengelige kartdata som rasterbilder med høydekurver ned til 5 meter for området vi ønsket. Dette gjorde at vi kunne lage et vektorbasert kartgrunnlag med høydekurver over Lugnet skistadion.

Vi dekket så denne modellen i gråtoner, der svart er laveste punkt på kartet, og hvitt er høyeste. Dette ga oss ett gråtonebilde vi kunne ta inn i 3D-programmet Cinema 4D og bruke som en displacement map.

Vektorlinjer over Lugnet til venstre. Ferdig gråtonebilde til høyre
Vektorlinjer over Falun til venstre. Ferdig gråtonebilde til høyre

De 14 forskjellige løypene som ble brukt under mesterskapet ble deretter projisert ned på denne modellen, animert og eksportert som 3D-objektsekvenser til Vizrt-grafikksystemet.

Erfaringer

NRK var noen av de første i verden til å bruke kompleks AR-grafikk på TV under OL i Torino i 2006.

Torino_AR-screen
Fra NRKs OL-sendinger i 2006

Siden den gang har det i all hovedsak vært fokus på virtuelle studioer i NRK, og dette var et av de første forsøkene siden 2006 på AR-grafikk. Som et slags pilotprosjekt for AR-grafikk i NRK, har vi tatt med oss en lang rekke erfaringer for både bruksområder og tekniske løsninger.

Kranfotograf Jan Erik Finsæther sier:

Å jobbe med AR-grafikk legger opp til et tettere samarbeid mellom kranfører og grafikk. Man må ha en dialog om hvor man legger grafikken og prøve seg frem for å se hvor den fungerer best. Det er en ny og moro måte å jobbe på som gir andre utfordringer.

Det er viktig å finne riktig bruksområde for denne teknologien og identifisere steder hvor det kan gi en merverdi til produksjonen, både visuelt og informativt. Noen ganger vil en vanlig supring eller fullskjermplakat gi samme nytteverdi som AR-grafikk. Å finne den riktige kombinasjonen av tradisjonelle supringer, fullskjermplakater, skjermer i studio og AR-grafikk, er en balansegang vi vil fortsette å jobbe med i kommende produksjoner.

7 kommentarer

  1. Cecilie Wian

    Vizrt. Liten r.

    Fin forklaring på augumented reality. Det er en teknologi hvor konseptet er så moden at det er lett å glemme at dette noe nytt. Vi(folk) er vant til med flere medier kombinert med virkelighet, På film skjer dette absolutt hele tiden (selv om der er det en god kombo av VR og AR, for eksempel CSI), og AR-spill til mobil har jo vært i bruk en stund, folk er ganske vant til å bruke GPS på mobil/bil. Forskjellen her er jo at det er live, og tv. Og det er kult å se på. Artig når tv-mediumet som ofte nok er spådd en nærstående død, likevel utvikler seg.

    Svar på denne kommentaren

    • Christian Sletten Eide (NRK) (svar til Cecilie Wian)

      Hei Cecilie,

      Takk, har rettet opp Vizrt nå.

      AR-grafikk er som du skriver på ingen måte et nytt konsept, selv ikke innenfor TV-produksjon. Likevel er nok AR den formen for grafikk som globalt er i mest utvikling innenfor TV-produksjon akkurat nå. Jeg tror at dette kommer av ønsker om å kunne fortelle historier med nye og andre virkemidler enn de tradisjonelle formene for grafikk, som storskjermer i studio. Muligheten til å generere objekter som kameraet kan utforske og vise publikum avhengig av gangen i sendingen, og ikke hvordan vi som grafikere har planlagt på forhånd er veldig spennende.

      Det er vel noe av det som gjør TV-grafikk interessant. Vi har etterhvert mange forskjellige måter å formidle informasjon og fortelle historier på. Det er fremdeles utrolig mye som ikke er blitt prøvd ut.

      Og forøvrig tror jeg at direkte TV vil eksistere i fremtiden også, i en eller annen form 😉

  2. Kommer dette til å komme på nyhets og sportssendinger??
    Dette var kjempekult!!!!!

    Begynner å bli litt kjedelig med den 10 år gamle blå bakrunnen til nyhetssendingen. Kanskje på tide å bytte det ut med dette?

    Svar på denne kommentaren

    • Christian Sletten Eide (NRK) (svar til Rasmus)

      Hei Rasmus,

      Dagens nyhetsdesign er fra 2007, så det er helt klart på tide med en utskiftning der. Vi har startet arbeidet med nytt design, men jeg kan ikke gi deg en offisiell dato for lansering av det enda. La oss si at det skjer snart…

      Denne teknologien kommer nok ikke til å være en del av nyhetspakken umiddelbart, men vi har klargjort for bruk av AR-grafikk i sendingene så langt det lar seg gjøre. Igjen handler det om å finne riktig måte å bruke dette på.

      Sporten vil nok helt klart bruke dette fremover på forskjellige produksjoner, uten at jeg har noe konkret å komme med der.

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *. Les vår personvernserklæring for informasjon om hvilke data vi lagrer om deg som kommenterer.