nrk.no

Slik lager du 3D-modeller med en drone

Kategorier: Droner,Foto & Gadgets

Skar leir fra stillbilder til 3D-modell med tekstur

Bruken av droner, både profesjonelt og for hobbybruk, har eksplodert de siste årene. Det mange drone-eiere rundt omkring i det ganske land ikke er klar over, er at de i praksis sitter på et svært kraftig verktøy for å lage 3D-modeller av omgivelsene rundt seg.

Mange stillbilder små…

Teknikken som brukes kalles fotogrammetri, og går (kort oppsummert) ut på at man ved å ta bilder fra luften fra en gitt høyde med overlapp, klarer å generere en 3D-modell av terrenget man tar bilder av.

Dette er ikke spesielt ny teknologi, og har blitt utført fra småfly og helikoptre i lang tid.

Inntoget av droner i de tusen hjem har imidlertid åpnet opp for muligheten til å gjøre dette selv.

Stillbilder tatt fra luften av Skar Leir i Maridalen ble brukt som utgangspunkt for å lage en 3D-modell. Foto: Marius Arnesen / NRKbeta.no
Stillbilder tatt fra luften av Skar Leir i Maridalen ble brukt som utgangspunkt for å lage en 3D-modell. Foto: Marius Arnesen / NRKbeta.no

Det er fullt mulig å gjøre dette manuelt, men det finnes langt enklere metoder.

Enhver drone med et kamera som kan pekes mot bakken, kan nemlig i teorien samle inn bilder til en slik modell mer eller mindre automatisk.

Velkommen til Maridalen

Maridalen er et relativt landlig område i utkanten av Oslo, kjent for mange som flyr modellfly og droner som et sted det er mulig å teste og leke seg med ting uten fare for å falle ned i hodet på tilfeldig forbipasserende, eller knuse frontruta på en Tesla Model S.

Oversiktsbilde av Skar Leir. Foto: Marius Arnesen / NRKbeta.no
Oversiktsbilde av Skar Leir. Foto: Marius Arnesen / NRKbeta.no

Vi tok derfor med oss en DJI Phantom 2 Vision+ samt en programvare for å lage 3D-modeller ut på test i Maridalen. I tillegg tok vi med oss en DJI Inspire 1 for å dokumentere det hele fra lufta.

Vi bestemte oss for å forsøke å lage en modell av Skar Leir, en gammel militærleir som ligger lengst inne i Maridalen, og nå er overtatt av Oslo kommune.

Prosessen med å lage en 3D-modell kan deles inn i tre trinn.

1. Innsamling av bilder

DJI Phantom er en drone som såpass mange i Norge etter hvert eier, at farkosten ofte omtales som «folkedronen». Til den versjonen av Phantom som for enkelhets skyld har fått navnet Phantom 2 Vision+, finnes en app som gjør jobben med bildeinnsamling svært mye enklere enn om man må gjøre jobben manuelt.

Screenshot 2015-05-12 19.13.51

Pix4D er et firma som utvikler programvare for å lage 3D-modeller. Pix4Dmapper heter monsterprogramvaren som kan sette sammen stillbilder til en 3D-modell. Den finnes i flere ulike versjoner og prisklasser, hvor fullversjonen på sitt dyreste koster 64 000 kroner.

Pix4Dmapper finnes også i en gratisversjon med begrensede muligheter for eksport av modeller.

I tillegg har 4PixD utviklet en applikasjon som snakker med DJIs Phantom Vision 2+. Denne dronen styres i utgangspunktet ved hjelp av en tradisjonell fjernkontroll, men har også muligheten til å styres via en app på mobiltelefonen. Og det er her Pix4D programvare kommer inn i bildet.

Pix4D lar deg dra ut et rutenett over området du ønsker å lage en 3D-modell av.
4PixD lar deg dra ut et rutenett over området du ønsker å lage en 3D-modell av.

Pix4D Capture App finnes både for Android og iOS. Appen lar deg enkelt trekke et rutenett over kartet hvor du vil fly, sette hastigheten på hvor kjapt du skal fly og bestemme i hvilken høyde bildene skal tas fra.

Screenshot 2015-05-12 19.14.10

Pix4D Capture App «tar over» styringen av Phantom 2 Vision+, og sørger for at den flyr i det gitte rutenettet og automatisk tar bilder.

Det er viktig å huske på at man alltid skal ha visuell kontakt med dronen. Dette for å kunne ta over kontrollen og fly den manuelt med fjernkontrollen hvis noe uventet skulle oppstå. Det er heller ikke lov å fly lengre unna startpunktet enn 500 meter, og heller ikke høyere enn 125 meter over bakken.

https://youtu.be/zAqefHOx3sQ

Videoen over viser hvordan DJI Phantom 2 Vision+ fløy over området vi ønsket å lage en 3D-modell av. Videoen er tatt fra en DJI Inspire som lå å filmet på 125 meter, og grafikken er lagt på i ettertid for å både tydelig vise hvor Phantom-en er, men også for å vise hvordan den flyr i et rutenett.

Etter endt flyvetur, returnerte Phantom-en tilitsfullt til stedet den tok av fra, og hadde med seg 142 stillbilder tilbake som vi kunne jobbe videre med.

2. Prosessering av bilder

Det finnes flere ulike programmer som kan gjøre jobben med å sette sammen stillbildene til en 3D-modell.

Vi valgte å bruke et program fra AgiSoft som heter PhotoScan. Programmet har ca samme betalingmodell som Pix4DMapper, men gratisversjonen lar deg gjøre alt bortsett fra å eksportere ut til profesjonelle 3D-formater, samt å lagre prosjektet.

https://www.youtube.com/watch?v=i1GHTaL7M0U

Prosessen med å lage en 3D-modell fra stillbilder foregår i flere steg

I. «Aligne» bildene.

Bilder av Skar Leir
Bilder av Skar Leir

Photoscan bruker så GPS-data fra bildene, og legger disse ut i et rutenett slik at de til sammen danner det området det skal lages en 3D-modell av.

II. Punktsky (Point cloud)

Punksky av Skar leir
Punksky av Skar leir

Ved å analysere bildene lager PhotoScan punkter i et 3D-koordinatsystem som representerer figurens overflate. Dette er det første settet med data som lages av modellen.

III. Mesh

3D-modell av Skar leir uten tekstur.
3D-modell av Skar leir uten tekstur.

Gjennom å trekke linjer mellom tre og tre av punktene i punktskyen, genererer PhotoScan en 3D-modell som begynner å ligne på det ferdige produktet.

IV. Tekstur

3D-modell av Skar lei med tekstur.
3D-modell av Skar lei med tekstur.

Til slutt må det genereres en tekstur, altså et slags skinn, til modellen. Ved hjelp av bildene lages det en overflate som ser fotorealistisk ut, og gir modellen den siste følelsen av at dette er «ekte».

3. Publisering

Ulik programvare kan eksporterer 3D-modeller i ulike formater. Fullversjonen av både Pix4DMapper og PhotoScan kan eksportere i nesten hva som helst, mens gratisversjonen altså er litt mer begrenset, men kan blant annet eksportere direkte til nett-tjenesten Sketchfab.com

Uendelige muligheter

Bruken av 3D-modeller både på TV og på Web er ikke nytt, og modeller generert av droner er en svært enkel måte å lage modeller av alt fra ulykkes-åsteder til områder som er ødelagt av naturkatastrofer.

Som et eksempel på hvordan 3D-modellen vi laget i Maridalen kunne vært benyttet i for eksempel TV-bransjen, gav vi 3D-modellen til Øyvind VedbergVFX-avdeling til NRK.

Vedberg satte flere personer, biler og en båt(!) inn i modellen, og plasserte kameraer i scenen med ulik optikk og egenskaper. Hadde Skar leir i Maridalen vært en location for en drama-serie, kunne regissør og fotograf i ro og mak sittet og planlagt hvordan scenen skulle fotograferes og utspille seg.

https://youtu.be/h5Qhk_XPwXU

På videoen ser man hele modellen med alle personer og objekter plassert inn i modellen. Under ser man hvordan utsnittene fra de ulike kameraene ville sett ut.

Slik ser bildet ut fra det virtuelle Kamera 4 som er plassert inn i modellen vår. Illustrasjon: Øyvind Veberg / NRK
Slik ser bildet ut fra det virtuelle Kamera 4 som er plassert inn i modellen vår. Illustrasjon: Øyvind Veberg / NRK
Slik ser bildet ut fra det virtuelle Kamera 3 som er plassert inn i modellen vår. Illustrasjon: Øyvind Veberg / NRK
Slik ser bildet ut fra det virtuelle Kamera 3 som er plassert inn i modellen vår. Illustrasjon: Øyvind Veberg / NRK
Slik ser bildet ut fra det virtuelle Kamera 2 som er plassert inn i modellen vår. Illustrasjon: Øyvind Veberg / NRK
Slik ser bildet ut fra det virtuelle Kamera 2 som er plassert inn i modellen vår. Illustrasjon: Øyvind Veberg / NRK
Slik ser bildet ut fra det virtuelle Kamera 1 som er plassert inn i modellen vår. Illustrasjon: Øyvind Veberg / NRK
Slik ser bildet ut fra det virtuelle Kamera 1 som er plassert inn i modellen vår. Illustrasjon: Øyvind Veberg / NRK

3D-modell på steroider

Det er selvsagt ikke bare drone-entusiaster som har oppdaget muligheten med 3D-modeller. Google Earth gjør det samme, om enn i noe lavere oppløsning, og i et begrenset utvalg av jorda.

Noe av det mest imponerende vi har sett i denne gata kommer imidlertid fra Vricon, et samarbeid mellom Saab og DigitalGlobe.

Ved hjelp av satellittbilder kan de generere en svært nøyaktig og imponerende 3D-modell av hele jordkloden.

https://www.youtube.com/watch?v=67_1NaXbX9k

Vi er veldig glade i dronene våre, men etter å ha sett dette her ønsker vi oss i grunnen en satellitt eller to også… 😉

Under Nordiske mediedager i Bergen holdt vi et lengre foredrag om bruk av droner i TV-produksjon, hvor 3D-modeller bare var en av delene. Hele foredraget kan du se på NMD-TV:

18 kommentarer

  1. Arnstein Bjone

    Takk for en flott artikkel. Jeg har holdt på med bla. (2D) panoramer i mange år, så dette er noe som er veldig fristende å prøve ut.
    Jeg tok meg bryet med å søke NSM (Nasjonal sikkerhetsmyndighet) om tillatelse til å filme/fotografere fra luften i 2011, så da gjelder vel ikke den begrensningen på 125 m/ 500 m for meg vil jeg tro.

    P.s. Søknaden til NSM var på 18 sider, såvidt jeg husker. De skulle vite det aller meste om bla. utenlandsopphold/oppdrag/arbeid for meg og hele min nærmeste familie, 3 generasjoner bakover 🙂

    Svar på denne kommentaren

    • Frode Pedersen (svar til Arnstein Bjone)

      Når det gjelder høyde, distanse og generell brukstillatelse, å du søke LT om RPAS tillatelse hvis du skal bruke materiellet kommersielt. Uansett må du forholde deg til 125/500 og ha visuell kontakt med dronen.

    • Kristian Kalvå (svar til Arnstein Bjone)

      Du må fremdeles forholde deg til til flygrensene 125/500m selv om du har godkjenning fra NSM.

      NSM regulerer tilgangen til å fotografere fra luften, og har for tiden gitt alle generell tillatelse til å fotografere fra luften (så fremt området ikke er sensitivt av en eller annen grunn).

      Luftfartstilsynet (LM) regulerer selve flygingen. De har gitt privatpersoner til privat bruk generell tilgang til å fly med droner innenfor synlig rekkevidde og maks 125 meter høyde, samt uten fare for andre. For alt annet kreves godkjenning som RPAS-operatør.

    • trygve (svar til erik)

      Denne funker ikke til 3pro enda, men ble lovet i midten av Mai.
      #Advanced er ventet i midten av Juni.

  2. Kult at NRKbeta har et innslag om fotogrammetri – en altfor oversett spennende og nyttig fagdisiplin innenfor geomatikkfagene! Nysgjerrig på sammenhengen? Vil du lære mer? Man kan utdanne seg innen geomatikk (som omfatter bl.a. bruk av fotogrammetri, laser, GIS, DB, IT GNSS (GPS), analyse av fly- og satellittbilder m.m.) på f.eks. NMBU eller NTNU. Da er man sikret jobb og et vidt spenn av arbeidsplasser og -oppgaver.

    Svar på denne kommentaren

  3. Jeg er så heldig at jeg jobber med dette i 100% stilling. Om man implementerer GPS innmålinger på bakken kan man oppnå centimeter nivå nøyaktighet i disse modellene. Vi bruker det til kalkyler, prosjekteringer innmålingsdata mm. Man får samtidig nordrefererte TIFF bilder som man ofte må legge ved som dokumentasjon.

    Svar på denne kommentaren

  4. Dette er så absolutt en kul artikkel og kan hende vi får en followup fra Beta Trondheim . Etter hva jeg har kunnskap om, benyttes tilsvarende løsninger for å avdekke ulike byggetiltak som burde være meldt kommunen. Ikke ut i fra et overformynderiperspektiv, men ut fra miljø og beredskapsståstedet er teknologien konge.

    Svar på denne kommentaren

    • Hei!

      I dette tilfellet var det Modo, men det kan i prinsippet være hvilken som helst 3d-program, så lenge du får importert modellen.

  5. Slik laget vi Saltstraumen minutt for minutt

    […] i NRKbeta, Marius Arnesen, har tidligere forklart hvordan man kan lage flotte 3D-modeller av et område ved hjelp av droner. Dette ville vi også gjøre rundt Saltstraumen, og Marius var […]

    Svar på denne kommentaren

Legg igjen en kommentar til Håvard Avbryt svar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *. Les vår personvernserklæring for informasjon om hvilke data vi lagrer om deg som kommenterer.