nrk.no

Bak kamera på NRKs første produksjon av 360°-video

Kategorier: 360°-video & NRK


26. September startet en ny sesong av dramaserien Jenter. I den anledningen har vi i NRKSuper laget en 360°-video.

Slik ser du 360°-videoen

  • Du kan også klikke og dra deg rundt i nettleseren på en maskin eller YouTube-appen på mobil. Det er også mulig å se videoen i VR-briller.
  • Her finner du lenke til videoen


Ideen

Produsent Beate Rendahl og regissør Tine Grønneberg ønsket å bruke 360 graders kamera for å promotere dramaserien Jenter.

Ideen er at du som ser på blir med Ingrid, den nye hovedkarakteren i dramaserien, inn på ungdomsskolen. Her er et interaktivt stillbilde fra filmen:

Ved bruk av et 360°-kamera kan du selv velge hva du vil se. Hvordan reagerer Ingrid på alle blikkene hun får? Hvem er det som kaster matpakken ned trappen? Hvem er det som skremmer henne og hva skjer etter at hun har passert dem? 

Prosessen

Prosjektleder Beate Rendahl ønsket at jeg skulle lede hele prosessen fra start til slutt. Det innebærer å være fotograf, teknisk- og praktisk koordinator. Jeg takket ja med skrekkblandet fryd, siden jeg aldri har laget 360°-video før.

Svend_Even

Jeg kontaktet Marius Arnesen i NRKbeta som viste meg et nytt 360°-kamera som trådløst viste film til mobilen både under og etter opptak. Han fortalte om hvilke erfaringer NRKbeta hadde med 360°-video (blant annet en film de lagde under P3 Gull med Karpe Diem).

Men hvilket 360°-kamera ville fungere best for oss? Det finnes nemlig et enormt utvalg av 360°-kameraer:

Et kjapt søk på Google Images avdekker at det finnes svært mange forskjellige 360°-kameraer
Et kjapt søk på Google Images avdekker at det finnes svært mange forskjellige 360°-kameraer

Flere 360° kamera ble vurdert, men valget falt til slutt på Samsung sitt 360-kamera, fordi:

  • Det var lett å se opptaket via trådløs tilkobling til mobilen under og etter innspilling.
  • Kameraet var lett nok i vekt til at skuespilleren kunne holde det.
  • Vi hadde kort opptakstid (1 1/2 time) med mange barn og kameraet var enkelt i bruk.
  • Det kun har to linser og lager derfor bare én søm i opptaket, noe som er kjekt når kameraet er i mye bevegelse og gjør det enklere i etterarbeid.
  • Det er minimal parallakse fordi sensorene er montert nærme hverandre.
  • Kvaliteten ville fungere til vårt formål (men jeg kunne helt klart ønsket bedre oppløsning på opptaket).
  • Det var økonomisk gjennomførbart.
  • Samsungs 360°-kamera "Gear 360" selges i Norge for rundt 4000 kroner. Foto: Produsenten
    Samsungs 360°-kamera «Gear 360» selges i Norge for rundt 4000 kroner. Foto: Produsenten

    Forberedelsene til opptak

    Samsungs kamera er ikke beregnet for profesjonell bruk, derfor var det ekstra viktig å teste ut innstillinger i kameraet for å få et best mulig opptak. Til slutt valgte jeg disse innstillingene:

    15 Skjermbilde 2016-09-19 kl. 00.23.24

    Innstillinger

    • ISO limit på 400 for å få minst mulig støy i opptaket, det var nok lys til at dette fungerte for kamera.
    • Sharpness av, for jeg ville heller legge på dette i etterarbeidet, pluss gjør trackingen enklere for VFX.
    • Lukkerhastigheten justerer seg dessverre automatisk etter lysforholdene. Skulle gjerne lås den til 1/50 for bedre kontroll og bevegelsesskarpheten.
    • Oppløsningen satte jeg til 3840×1920 4K 29,97 fps H265 (HEVC er en ny codec) som er det høyeste kamera kan kjøre. Skulle gjerne hatt 60 fps i 4K på dette kameraet.

    Jeg har i flere av mine tester opplevd at kameraet slår seg av når det blir for varmt, spesielt hvis du er inne. Dette har flere brukere hatt problemer med. Utfordringen er at jo høyere oppløsning det er, jo varmere blir kameraet.

    Lærdom fra tekniske tester

  • Auto-eksponering traff ganske bra, så den lot jeg stå på 0 (det er ikke mulig å låse eksponeringen, men du kan velge om du vil over- eller undereksponere). Hvis eksponeringen blir for høy eller lav vil dette gå utover bildekvaliteten. 
  • Auto white balance: siden vi filmet ute og inne i samme opptak valgte jeg auto hvitbalanse for å få mest mulig korrekte farger på opptaket. Eventuelle endringer kan gjøres i fargekorrigering senere.
  • HDR satte jeg på ON. Når denne var aktivert fikk jeg litt mer data/lys/info i mørke og lyse partier.
  • Testopptakene

    Jeg hadde problemer med refleksjon i vinduene, fordi seeren ville se kameraet i glassvinduene og døra. Dette ville ødelegge litt av opplevelsen.

    16 Skjermbilde 2016-09-19 kl. 01.28.34

    Derfor brukte jeg en malingsrulle med Kulturmelk på vinduene, for at de skulle få en matt flate og ta vekk refleksene. Trikset plukket jeg opp i Aftenposten.

    Kulturmelk

    Her ser du resultatet: alle vindusflater der kamera var synlig «malte» jeg med Kulturmelk.

    19 Skjermbilde 2016-09-19 kl. 01.36.34

    Samtidig som at vi laget en 360°-video skulle vi ha opptak til TV også. Samsung-kameraet ville fungere for dårlig til dette. Skulle vi velge et TV-utsnitt fra 360°-videoen, ville oppløsningen blitt alt for lav.

    Derfor plassere jeg et GoPro-kamera under, slik at vi kunne få gjort begge opptakene samtidig. Da ville vi spare tid og alt ville bli likt i begge filmene.

    Med GoPro-kameraet plassert like under 360°-kameraet, forsvant det helt fra 360°-opptaket på grunn av parallakse-effekten 😉

    Kameraene må sitte godt sammen, men vi hadde ikke noen ferdig rigg for dette. Takket være noen deler fra lageret, og Robert Knudsen på NRKs verksted løste det seg. Han modifisere en enkel ramme fra GoPro, slik at Samsung-kameraet kunne monteres på toppen.

    Robert Knudsen lager kamerafeste
    Robert Knudsen lager kamerafeste

    20-b- IMG_2068

    Opptaksdagen

    Under kan du se bildene fra en gjennomkjøring hvor skuespilleren øver på å holde kamera-riggen. Samsungs 360°-kamera øverst og GoPro kameraet under.

    21 IMG_1902

    Nederst til høyre ser vi at 360°-kameraet sender bildet direkte til en mobil. Til venstre ser vi bildet fra GoPro-kameraet som vises direkte på den andre telefonen.

    Trådløs overføring av bilder Foto: Pia Borander
    Trådløs overføring av bilder Foto: Pia Borander

    Opptaket kunne startes og stoppes med fjernstyring via mobilene.

    Jeg sjekker telefonene før opptaket Foto: Svend Even Hærra
    Jeg sjekker telefonene før opptaket Foto: Svend Even Hærra

    For å få bort selve stangen skuespilleren holdt i, justerte jeg «selfie-sticken» til en slik høyde at den ble borte. Da brukte jeg søm-problematikken i 360°-video til min fordel, fordi det som kommer for nærme skjøtene i bildet forsvinner helt. Så på de ferdige opptakene fra Samsung sitt kamera, ser det ser ut som kameraet svever i luften. Vi la en ensfarget jakke over hånden hennes for at eventuelle feil ikke skulle være så lette å se.

    23-b Skjermbilde 2016-09-15 kl. 23.47.18

    Regi

    Vi erfarte at selve opptaket måtte planlegges mer som en teaterscene. Der er alle skuespillerene synlige til enhver tid og hverken regissør eller fotograf kan være tilstede.

    24 IMG_0888

    Her gir regissør Tine Grønneberg instruksjoner til skuespillerene før opptakene. Det var viktig at alle skuespillerene visste hva de skulle gjøre hele tiden. Derfor øvde vi først i mindre grupper, før alle til slutt øvet sammen rett før vi gikk i opptak.

    Regissør Tine Grønneberg instruerer Foto: Svend Even Hærra
    Regissør Tine Grønneberg instruerer Foto: Pia Borander

    Alle fra NRKs produksjonsteam, regi, foto, lyd, kostyme, innspillingsleder, prosjektleder og assistenter, måtte gjemme seg under trappen da opptaket foregikk. Via mobiltelefonen kunne vi følge med på hvordan opptaket gikk.

    Vi sleit litt med at flere av telefonene mistet forbindelsen under opptak, selv om dette fungerte da jeg gjorde tester. Kanskje det var fordi mange mobiltelefoner i området når vi gjorde opptakene? Heldigvis var det enkelt å kunne spille av og se opptaket på telefonen i etterkant.

    For at regi skulle kunne se alt som skjer i rommet under opptak, uten å være i bildet, satte vi opp et ekstra kamera for å overvåke det som skjedde.

    Skjermbilde fra 360°-videoen
    Skjermbilde fra 360°-videoen

    Her er bildet fra «overvåkningen» etter vi satte opp kameraet.

    overvakning

    Slik satt regissørTine Grønneberg under opptak og fulgte med på telefonen, for å se om alt gikk riktig for seg.

    28 IMG_8315

    Lydopptak

    Vidar Hakon Gislason plasserte ut flere skjulte mikrofoner på skuespillerene. Her ser du han ta opp ekstra lyder etter opptak som skulle brukes til 360°-lydmiksen.

    29 IMG_1900

    Tekniske utfordringer

    Under noen av opptakene ble filene korrupte. Jeg er usikkert hvorfor, men det skjedde aldri på de forskjellige test-opptakene jeg gjorde. Det kan ha vært at MicroSD-kortene ikke var raske nok (jeg brukte Kingston 32 GB MicroSD HC mark 1 10MB/s)

    Micro-SD-minnekort

    Kunne brukt et mark 3-kort, som er enda raskere med sine 30MB/s. Da er det mindre sjanse for at det skjer noe feil.

    Det kan også være at microSD kort var formatert på feil måte. Da jeg formaterte kortene i kameraet ville de ikke virke, men da jeg formaterte dem i ExFat-format på en PC og mac fungerte de på testopptakene. Opptakene som ble korrupte hadde ikke større filstørrelse enn de andre opptakene som fungerte. 

    Slik var feilmeldingen på korrupte opptak i 360-kameraet
    Slik var feilmeldingen på korrupte opptak i 360-kameraet

    Ikke spesielt gøy når en har dårlig tid…

    Postproduksjon

    Etter opptakene trengte vi å sy sammen (stitche) opptakene på en pen måte. I produksjonen av en 360°-video er stitching av videofilene, en kritisk prosess.

    Samsung-kameraet har to linser, og det er derfor to ulike videofiler som skal sys sammen til én. I videoen skal man helst ikke legge merke til at de to videofilene har en søm mellom seg. Denne operasjonen ble utført av Kjetil Palmquist.

    32 Sequence 01.00_08_27_17.Still003

    Samsung sitt kamera lager en sirkulær video fra hvert kamera på samme videofil. Den første operasjonen var å splitte denne i to ulike videofiler.

    33 nrk_ptgui

    Deretter ble ulike sekvenser i videoen prosessert med PTGUI, som er et spesialprogram for å sy sammen flere bildefiler.

    34 nrk_ptgui_3

    En mal herfra ble så benyttet av programmet Videostich der harmonisering av farger og selve sammen syingen ble utført. Sluttresultatet ble 2 500 «sammensydde» bildefiler i formatet JPG.

    35 stitchet opptak før VFX

    Her kan du se bildet rett fra Samsungs egen «Gear 360 Action Director» som automatisk kan sy sammen opptakene på mobilen. Da blir ikke alle skjøter like pene.

    35-bSkjermbilde 2016-09-21 kl. 01.02.45

    Spesialeffekter (VFX)

    Filmen slutter med at jentene møtes i toppen av trappa for å ta en selfie. For å skjule kamera-riggen måtte vi trikse litt. UUnder opptak er det et grønt skjermbilde på mobilen som en slags mini-grønnskjerm.

    Lars Peder Sørli tok opptaket inn i grafikk-programmet Nuke, for å manipulere selfien inn i mobiltelefonen. I Nuke lagde han sitt eget oppsett for å få ting til å stemme med bevegelsen i 360°-videoen, noe vi aldri har gjort tidligere. Siden Samsung ikke har publisert noe informasjon eller svarte på mine mail med om hvor stor chipen i kameraet er, eller hvilken eksakt brennvidde det har, var det vanskelig å få dette helt nøyaktig.

    Lars Peder laget i tillegg plakatene før og etter filmen. Han prøvde å stabilisere opptaket for å få omgivelsene til å bli roligere, men dette rakk vi ikke å bli ferdige med før publisering av videoen.

    36 IMG_2192-2
    37 Skjermbilde 2016-09-15 kl. 22.11.13

    Lydetterarbeid

    Det har ikke blitt laget 360°-lyd som følger bildet før i NRK, men jeg traff lyd-designer Richard Sveen som hadde veldig lyst til å forske på 360°-lyd.

    Det var lenge usikkert om vi skulle klare å få dette klart til deadline 14.september. Etter å ha lest og chattet på flere fora, fant Richard til slutt ut hvilke programmer som fungerte til vårt bruk og fikk kontakt med de som utviklet programvaren han til endte opp med å bruke. Det var uvant/utfordring å forstå hvordan lyden i rommet flytter på seg, samtidig som kameraet er i bevegelse.

    Til slutt så endte Richard opp med denne løsningen: han brukte Pro Tools med FB 360 Toolkit (Two Big Ears og Control Plug-in i Pro Tools).

    Han brukte deres videoavspiller for å se en panorerbar 360-fil. Deretter spilte Richard ut en 6+2 kanals Binaural «3D-audio»-miks som ble encodet med Two Big Ears Encoder-program til en 4 kanals Binaural miks, som er komatibel med YouTube sin protokoll (ambiX). Denne 4 kanals-miksen måtte gjennom en mastering for å optimalisere nivået.

    Lyd-designer Richard Sveen
    Lyd-designer Richard Sveen
    39 IMG_2015 (2)

    Fargekorrigering

    Anders Skjærseth hadde heller ikke jobbet med 360°-video før. Han gjorde fargekorrigering i Davinci Resolve for å få farger på plass og fjerne mørke partier fra video-stitchingen.

    Trodde dette skulle bli enkelt, men her hadde vi litt utfordringer med at det var vanskelig å se om det oppsto feil i farger, spesielt i topp og bunn av opptaket.

    40 Skjermbilde 2016-09-19 kl. 03.11.24
    41 IMG_2199

    Pluss om selve opptaket forandret størrelse. Det var nesten umulig å se at bildet hadde flyttet litt på seg, men når vi så det i VR-spilleren ble feilen tydelig.

    Vi burde hatt en 360°-videoavspiller i fargekorigeringsrommet, så vi raskere kunne oppdaget disse feilene.

    Eksport

    Det var viktig for meg å beholde den orginale oppløsningen og frameraten gjennom hele prosessen, for å oppnå best mulig kvalitet på sluttresultatet.

    Innstillinger for 360°-video eksport
    Innstillinger for 360°-video eksport

    Innstillinger for 360°-video eksport til YouTube. Hvis du skal publisere på Facebook kan du bruke H265.

    Publisering

    Når video- og lydfilen var ferdig, brukte Merete Victor Ffmpeg til å sette 360°-lydfilen inn i videofilen, til en ny sammensatt fil. YouTube-metadata tool lastet dette opp til YouTube på riktig måte og YouTube-gjengen fra NRK Super publiserte filmen.

    Jeg vil benytte muligheten til å takke alle som har bidratt, slik at vi fikk dette til! Det har vært veldig gøy og lærerikt.

    Forstå mer om 360°-video

    Her er noen interessante lenker jeg så på i forbindelse med produksjonen av denne videoen.

    • Gode tips fra YouTube om hva man ikke bør gjøre

    • En av BBCs store VR-produksjoner

    • Skrekkfilmen HELP som bruker spesialeffekter i VR


4 kommentarer

  1. Fantastisk bra opplegg Svend Even, fra start til mål.
    Maken til entusiasme skal man lete lenge etter.
    Flott dokumentert på en lettfattelig måte.
    Du er en mann for framtiden.
    Keep up the good work!

    Svar på denne kommentaren

  2. Sjekk ut 360 Rumors hvis du vil vite siste nytt innenfor 360 film de har veldig mye og bra info/oversikt over hva som foregår. Pluss er kjappe med å svare hvis du stiller dem spørsmål 😉

    Svar på denne kommentaren

Legg igjen en kommentar til Snorre Avbryt svar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *. Les vår personvernserklæring for informasjon om hvilke data vi lagrer om deg som kommenterer.