Slik undersøkte NRK offentlige nettsteder

---

NRK brukte Brønnøysundregistrene, databaseoppslag i det norske domeneregisteret og API-tilgang til en testtjeneste for å undersøke kryptering på offentlige nettsteder.

Oppdatering 6. januar 2017: Vi har samlet en oversikt over alle nyhetssakene i toppen av dette første metodeinnlegget, og oppdatert litt i bunnen om arbeidet som ble gjort senere.

Les nyhetssakene:

• Info om bombekjemikalier, Forsvaret og ID-juks på sårbare sider
• Usikkert nett
• Offentlige nettsteder bakpå også innen andre sikkerhetsstandarder
• Difi vil vurdere endringer
• Over 50 nettsteder fikset etter NRK-saker
• NSM anbefaler nye krav til offentlige nettsteder etter NRK-saker
• HTTPS på vei inn i norske IT-standarder
• Interaktiv oversikt: HTTPS-status Norge

Av ren nysgjerrighet mens en vi lekte med oppsett av egne personlige nettsider testet vi i 2015 en del offentlige nettsteder med åpne testløsninger på nettet.

SSL Labs er en nettjeneste for å sjekke hvordan HTTPS-kryptering er satt opp.

HTTPS-kryptering er er den teknologien som sikrer at informasjon sendes sikkert og kryptert mellom nettleseren på en datamaskin/mobiltelefon/nettbrett til serveren som drifter nettstedet.

For folk flest er det snakk om hengelåsen i adressefeltet når man besøker nettbanken eller Facebook.

I våre små eksperimenter i 2015 fant vi litt overraskende at flere nettsteder drevet av det offentlige hadde satt opp HTTPS, men likevel fikk strykkarakter og bokstaven F i testen hos SSL Labs.

Videre undersøkelser viste at testen var ganske anerkjent. Både det norske Direktoratet for forvaltning og IKT (Difi) og Det hvite hus anbefalte og brukte testen. Dårlige karakterer betød stort sett at maskinene som drev nettstedet var dårlig satt opp eller ikke oppdatert med de siste sikkerhetsoppdateringene.

Etter å ha funnet en håndfull slike dårlige eksempler bestemte vi oss for å gjøre en litt bredere undersøkelse.

Skaffe oversikt over offentlige nettsteder

Tanken var at vi ønsket å teste et større utvalg nettsteder eid av det offentlige i Norge.

Først tok vi derfor kontakt med Difi og spurte om de hadde en liste over offentlige nettsteder siden de selv anbefalte testen, og drev med vurdering av nettsteder og nettjenester. Svaret var at de ikke hadde noen fullstendig oversikt liggende.

NRK måtte dermed gå til andre kilder.

Vi visste fra før at de aller fleste .no-domener er koblet til virksomheter registrert i Brønnøysundregistrene.

Vi valgte derfor å gå til dataene i Enhetsregisteret, og hentet ut alle registrerte virksomheter under sektorkodene 6100 – Stats- og trygdeforvaltning, 6500 – Kommuneforvaltningen, 1100 – Statens forretningsdrift, 3900 – Statlige låneinstitutter mv.

Fra registeret fikk vi da en liste på rundt 2 500 virksomheter med organisasjonsnummer.

Listen inneholdt alle kommuner, fylkeskommuner, departementer og statlige direktorater. Samtidig inneholdt den også mange mindre organer som f.eks. mindre kommunale foretak eller kirkelige sogn.

Oppslag basert på organisasjonsnummer

Siden vi visste at domeneregisteret hos Norid inneholdt et felt for organisasjonsnummer for å vise hvem som eier domenet hadde vi et håp om at ei kjøring i en database kunne hjelpe oss.

Vi tok derfor kontakt med Norid som forvalter registeret over .no-domener, og spurte:

«Jeg vurderer å gjøre en undersøkelse som journalist rundt bruken av kryptering (https/tls) på offentlige nettsteder i Norge.

I den sammenheng hadde det vært veldig fint om Norid kunne vært behjelpelige med å gjøre en direkte spørring i databasen over domeneeierskap (whois) basert på en liste organisasjonsnummer jeg kan gi dere. Er dette mulig?»

Etter litt fram og tilbake var svaret ja.

Vi sendte over ei Excel-fil med rundt 2 500 organisasjonsnummer. Tilbake fikk vi ei Excel-fil med 11 344 domener og hvilket organisasjonsnummer i vår oversikt det tilhørte. Norid hadde også lagt med info om domenet var signert med den nye sikkerhetsstandarden DNSSEC.

Med denne informasjonen kunne vi enkelt sammenstille våre data fra Brønnøysundregistrene og Norid i et databaseprogram siden de hadde organisasjonsnumrene felles.

I tillegg til informasjonen fra Norid fikk vi hentet ut inforasjon om alle domener under .kommune.no/.herad.no fra KS og om .dep.no/.stat.no fra DSS siden de ikke ligger i Norids base. Vi hentet også ut noen stikkprøver fra domener under .mil.no ved å lete på Google etter kjente adresser for søkemotoren.

Til slutt satt vi igjen med ei liste på 11 926 domener. Det er ikke en offisiell eller fullstendig liste over norske offentlig eide domener, men et ganske bredt og omfattende utvalg.

Automatisert sjekk

SSL Labs er ei nettside som tilbyr sjekk av nettsteder for bruk av HTTPS med teknologiene TLS og SSL. Nettsiden tester om nettsted har satt opp HTTPS, og om det er satt opp riktig uten kjente sikkerhetssvakheter.

For nettstedene som har HTTPS gir siden en karakter fra A+ til F avhengig av hvor godt systemet er satt opp.

SSL Labs har i tillegg gjort testen sin tilgjengelig som en tjeneste gjennom et API. Dette gjør det mulig å automatisere testingen.

Ved å kjøre et lite program kunne NRK dermed gjennomføre testing av flere tusen domeneadresser basert på listene vi hadde fått satt sammen.

Maskinen vår måtte så stå i mange timer og gjennomføre tester.

Testresultatene kom ut som store mengder rådata på formen JSON med informasjon om både karakter, hvilke teknologier som hvert enkelt nettsted bruker og eventuelle kjente svakheter.

Disse resultatene viderebehandlet vi så med et script som gjorde de mest interessante dataene for oss om til regneark-aktige filer på formen csv.

Alt sammen ble så igjen lastet inn i et databaseprogram for viderebehandling. Der kunne vi telle opp de ulike kategoriene og hvilke resultater de hadde fått.

Resultatet var:

Vi startet med 11 926 domener i testen. 1 982 av domenene hadde i testperioden den 9. og 10. mars ingen aktiv webserver, og de er derfor ikke tatt med i opptellingen av HTTPS-bruk.

Bare 422 av 9 944 aktive domener eid av det offentlige hadde fungerende https/tls – tilsvarer 4,2 %

Av disse har:

• 180 karakteren A/A-/A+ (42,7 %)
• 55 har karakteren B (13 %)
• 72 har karakteren C (17 %)
• 102 får karakteren F = stryk (24,2 %)

I tillegg har noen fått merking som å ha problemer med sertifikat-tillit, men ellers greit oppsett.

NRK jobbet med innføring av sikker, kryptert tilkobling over HTTPS for våre nettjenester ved publisering av de første sakene om temaet. I juni 2016 ble dette innført for store deler av nettjenestene.

Kontinuerlig oppdatert oversikt

Oppdatering januar 2017

Samtidig som vi jobbet med innspurten for nyhetssakene om HTTPS-bruk i forrige runde kom vi over hvordan ståa var i USA.

I USA har Det hvite hus bestemt at alle føderale nettsteder skal ha HTTPS-tilkobling innen utgangen av 2016.

For å følge opp hvor langt unna man er å oppfylle dette kravet for nettsteder med .gov-adresse lagde derfor det interne konsulentkontoret 18F en lur liten løsning. Løsningene domain-scan og pulse henter først inn data ved hjelp av ulike skanningsteknikker for så å vise dem fram i en forståelig form på ei interaktiv nettside ( the pulse of the federal .gov webspace ).

Vi valgte derfor å gå inn for å forsøke å lage noe lignende for Norge med utgangspunktet i dataene vi allerede hadde samlet inn og skapt.

Etter litt plunder fikk vi til å lage en løsning som gir publikum mulighet til å sjekke status for nettstedet til de etatene og virksomhetene de forholder seg til. Oversikten teller også utviklingen i utbredelsen av HTTPS.

Da vi sjøsatte den interaktive løsningen i mai var status at drøye 5% hadde HTTPS.

Slik har utviklingen vært:

• mai 2016: ca 5%
• august 2016: 5,7%
• september 2016: 5,9%
• november 2016: 7,4%
• desember 2016: 8,5%

Se oversikten her: HTTPS-status Norge

Vi har forsøkt å holde oversikten oppdatert rundt én gang i måneden.

Se hvordan vi laget den her: HTTPS-status i Norge – oversikten

Under ser dere siste status basert på våre skanninger
(det må her bemerkes at det er litt forskjell i denne sjekken fra den forrige – siden denne skanneren blant annet aktivt sjekker domenene både med og uten www foran):