Bakom 244 034 terror-tweets

---

Umiddelbart etter at bomben gikk av i Regjeringskvartalet 22.07.2011 startet folk å twitre om hva de så, opplevde, følte, tenkte og mente. I timene og dagene som fulgte trendet ord som «utøya» på Twitter, og flere hundre tusen twittermeldinger ble sendt ut rundt hendelsene.

En ide her på bruket gikk tidlig i hendelsesforløpet ut på at vi burde få fatt på meldingene og bruke dem til noe redaksjonelt. Som tenkt så gjort.

Siden vi ikke var framsynte nok til å sette opp en dump av alle søkeord og hashtags som omhandlet hendelsene på forhånd og underveis, måtte vi be Twitter om en dump fra deres database i etterkant.

Å bistå med database-dumper er på ingen måte noe Twitter vanligvis gjør, men omstendighetene tatt i betraktning var selskapet hyggelige nok til å gjøre en dump for oss på de søkeordene og hash-taggene vi bad om.

Alternativet for de som måtte være føre var og ønske en dump en en twitter-hashtager, er å bruke en tjeneste som for eksempel hashtracking.com. Vi brukte den med stort hell på «Hurtigruten – Minutt for minutt», og lar deg overvåke de hash-taggene man måtte ønske på en effektiv måte.

SE PRESENTASJONEN HER.

Resultatet ble en database med 244 034 tweets fra «terroruka». 122 498 av disse var retweets, noe som betyr at vi satt igjen med 121 536 unike meldinger fra hele verden. Alt fra meldinger fra ungdommer som befant seg på utøya og var skutt og pårørende som fikk telefonsamtaler fra sine nærmeste på øya, til medfølende mennesker over hele verden som via nyhetene og twitter ble informert om grusomhetene som utspant seg.

Teamet på NRK som har jobbet med dette har tatt tak i dataene, analysert, vasket og visualisert slik at du kan grave rundt i de ulike historiene som ble skapt av Twitters brukere.

Til tross for at meldingene kun stammer fra det sosiale nettverket Twitter, og dermed ikke er noen stemme for hele det norske folket fra terrorhandlingene, har vi funnet innholdet interessant.

Å bruke historiene og ikke minst trendene i meldingene fra Twitter åpner for en helt nye måte å drive journalistikk på.

Hashtaggene og søkeordene vi bad om fra Twitter var følgende: utøya, utoya, #osloblast, oslexpl, #osloexplosion, #oslove

Nøkkeltweets

For å gjøre det litt enklere, både for oss selv og brukerne, har vi vasket oss manuelt gjennom de ulike Tweetsene og definert det vi har kalt nøkkeltweets. Det er tweets som er viktige for den sammenhengen og tidsperioden de er skrevet i, og som gir et best mulig bilde av hva som uspant seg i Twitter-universet på gitte tidspunkt.

Ved å velge ut Tweets på relevans, men samtidig beholde antallet noenlunde relatert til den orginale massen av tweets, har vi skapt en tidslinje som viser aktiviteten på Twitter gjennom de ulike døgnene.

Vi tok i bruk det selvbygde verktøyet Sentimental for å få gjennomført jobben med å plukke ut de viktigste tweetene. Sentimental ble satt opp slik at man enkelt kunne lese en tweet, for å så enten klassifisere den som en nøkkel-tweet eller ikke.

Etter endt jobb, ble vi sittende igjen med 4 814 tweets, som vi mener er viktige og som også speilte omfanget av tweets i de ulike tidsperiodene.

Visualiseringen

Tom Halsør er informasjonsdesigner i NRK, og har stått for den grafiske utformingen og visualiseringen i prosjektet. Han kan fortelle at mye av utfordringen med prosjektet har vært å sortere ut de interessante historiene som befant seg i de enorme datamengdene.

– Med eksklusiv tilgang til en stor mengde twittermeldinger under de tragiske dagene, var det viktig å dokumentere og fortelle historiene som utfoldet seg på Twitter. Når vi gikk igjennom materialet var det ikke vanskelig å se at det lå mange interessante historier her. Enkelte av meldingen er en historie i seg selv, mens andre historier lå i hvordan ting utviklet seg og endret seg over tid, sier Halsør.

Halsør forteller videre at man har jobbet med materialet på flere måter,

– Ved å filtrere på grupper av ord over tid, kan man nesten måle av ‘temperaturen’ og svingninger i følelser. Når hver enkelt melding blir satt i sammenheng på denne måten, oppstår det også en større forståelse av hvordan man burde lese meldingene og hvilke strømninger som oppsto.

Gjennom prosjektets gang har teamet som har jobbet med det vært innom flere ulike måter å løse oppgaven på, men landet etter hvert på en tidslinjebasert visualisering, hvor fokuset ble på historiene som lå i twitter-meldingene:

SE PRESENTASJONEN HER.

– Vi så på muligheten for såkalte tidsbaserte Word Clouds satt sammen med artikler fra nrk.no, Tweet Wall, til visuelle løsninger à la We Feel Fine av Jonathan Harris & Sep Kamvar. Det var en spenning mellom det å visualisere informasjonen, og det å fortelle historiene. Fokuset dreide (heldigvis) til historiene som lå i selve meldingene. Selve info-vizen blir tilnærmet et kart/navigasjon for dette, sier Halsør.

Valgte Flash

Flere ulike teknologier ble vurdert til presentasjonen, men teamet falt til slutt ned på Adobe Flash som motor for det hele. Dels fordi det utkrystalliserte seg som teknologien som ville løse oppgaven best, dels fordi vi også må ta hensyn til hva vi har kompetanse og tilgjengelige ressurser internt i NRK.

Glen Imrie og Alexander Bech har stått for programmeringen av tjenesten i Flash.

– Flashapplikasjonen kobler seg opp mot en AMFphp gateway og henter data som AMF-objekter over en NetConnection-kobling. Grunnen til at vi valgte denne løsningen fremfor xml eller json, er at AMF-formatet er binært og derfor minsker datamengden som skal overføres. Videre gir dette native flash typer (array og objekter) i applikasjonen og fjerner behovet for å parse for eksempel xml eller json på klienten. Alle Tweetene er lagret i MySql-database, som gjøres tilgjengelig gjennom en rekke lastbalanserte frontservere for å takle trafikken, sier Imrie.

Med et såpass stort datagrunnlag og mengden informasjon som er knyttet til hver enkelt tweet har også teamet møtt tekniske utfordringer:

– De største utfordringene var å finne en balanse mellom behov for informasjon (properties) på den enkelte tweet opp mot ytelse og datamengde som skal overføres, fortsetter Imrie.

Hvordan bruke tjenesten?

Tjenesten kan brukes på flere forskjellige måter. Her er det ikke noe «riktig» eller «galt». Det er fullt mulig å bruke tjenesten som et slags oversiktskart over det viktigste på Twitter under hendelsene, mens andre nok vil dykke dypere ned i detaljene.

– Når jeg jobbet med datamaterialet ble jeg ofte selv sittende å lese igjennom melding etter melding. Jeg tror også en del vil la seg fascinere av sorteringsmulighetene og forsøke å dekode konjukturen av meldingene. I grafen er det i utgangspunktet få steder som er av interesse. Det er start, slutt og toppene som vil interessere folk flest, sier Halsør, som til tross for sin rolle som informasjonsdesigner mener historiene er det viktigste.

– Jeg elsker informasjonsdesign, men liker ikke uforståelige/ubrukelige visualiseringer. For meg er visualisering bare et middel for å transformere data til forståelig informasjon, til ny kunnskap, til historier. Så jeg må nok si at historiene som utfolder seg er min favorittdel.

SE PRESENTASJONEN HER.

Les også:

– NRK.no – Da twitter gikk fra kos til kaos
– NRK.no – «Det er skyting på Utøya, lillesøstra mi er der og ringte hjem nå!»