nrk.no

Hjelp oss løse luksusproblem: Publikum mener altfor mye om NRK

Kategorier: Journalistikk, Media & NRK


Vi ønsker oss tips til gode, objektive måter for å systematisere hundrevis av fritekst-kommentarer.

Tirsdag forrige uke ba vi publikum komme med innspill til den forestående behandlingen av fremtidens almenkringkasting i saken Hvilket NRK vil du ha i fremtiden?

Hva skjuler seg i dypet?

Vi skrev det var vanskelig å invitere noen millioner lisensbetalende nordmenn til å sitte i en kinosal i Oslo midt på en tirsdag for å komme med innspill. På et vis har vi fått til dette nå, og har samlet en pen mengde her på NRKbeta. Men nå som vi har samlet publikumsperspektivet, ser vi at det «demokratiunderskuddsproblemet» vi forsøkte å løse har skapt et nytt problem…

Fra før vet vi at dere som kommer hit til NRKbeta er en stor og sammensatt gruppe med synspunkter på mange nivåer. Responsen hadde vi likevel ikke forutsett.

At den skulle være så grundig, jo kanskje. Så mangefasettert, muligens. Så engasjert, jo selvsagt. Men at den skulle være så ufattelig omfangsrik. Oj. Oj. Oj. Vi hadde regnet med 30-40 kommentarer. Vi er nå i ferd med å krysse 400, og det har ikke stoppet opp så langt. Men sånn blir det kanskje når man i et lite land diskuterer et så omfattende sameie som en rikskringkaster.

For mye informasjon

Det er kommet inn en lavine av kommentarer om alt fra overordnede prinsipper til hvordan programledere bør snakke. Kvalitetsnivået er gjennomgående godt og saklighetsnivået høyt. Vi har heller ikke behøvd å ta på voksen-hatten underveis, vi har kun slettet én kommentar (fordi det var en ren duplikat). Men:

Screen Shot 2014-08-20 at 09.14.22

Trykker man «print», ender man nå opp på rundt 170 A4-sider med innspill. Usystematiserte sådanne. Det er en utfordring for dem som skal behandle dette materialet.

Hvordan hindre drukning?

Disse rundt 37 000 ordene om NRK overgår antagelig alle andre innkomne høringsuttalelser tilsammen i volum. Og selv om dét kanskje fra et publikumsperspektiv synes rimelig, og selv om dere har skapt en gullgruve av synspunkter: Respekten min for saksbehandlere og folkevalgte som velger å sette seg inn i et materiale som dette blir ikke mindre når jeg teller antall ord…

Hvordan kan man få oversikt over et materiale av et slikt omfang? Hva er løse utsagn – hva er gjennomarbeidede refleksjoner? Hva er de ulike meningene om enkeltsakene? Hvor mange stiller seg bak de ulike innspillene? Hvem er det som har uttalt seg?

Objektiv metodikk

Samtidig er det kanskje slik at dersom vi i NRKbeta selv skulle forsøke å sammenfatte og systematisere det innkomne, vil det kunne innvendes at vi ikke er objektive og nøytrale, noe som kan svekke publikumsinnspillenes tyngde.

Hjelp hjelp!

Så da spør vi som vanlig NRKbetas smarte lesere om hjelp: Hvis dere skulle hjulpet oss, departement eller politikere å behandle dette materialet på en måte som ivaretar nyansene og bredden, enighetene og uenighetene, hvordan ville dere løst dette?

Bruk kommentarfeltet og hjelp publikum å få almenkringkasteren de ønsker seg 🙂

43 kommentarer

  1. Hvis dere tenker å ikke gå igjennom innspillene fra forrige artikkel og systematisere det, men heller be om en ny ‘automatisk opptelling’, så vil jeg foreslå enten å ha checkboxer (veldig, veldig mange), med en annet-kommentarfelt. Eller, som kanskje vil være bedre, er å la folk tagge sitater, som så kan vises i et slikt diagram som dere har som bilde øverst i artikkelen, eller bare tall.

    Men skal dere bruke innspillene dere har fått er den eneste måten jeg ser å gå igjennom og lage sitater, og telle opp.

    Med sitater mener jeg for eksempel ‘lisens’, ‘reklamebasert’ og ‘mer underholdning’

    Svar på denne kommentaren

  2. (Hvordan innkomne data skal behandles kunne vært avklart på forhånd.)

    Forøvrig:
    Lisensfinansiering er ok, men la betalingen skje via skatteseddelen. Da kan allerede eksisterende innkrevingsystem benyttes og man sparer hele NRK-lisenskontor med deres spesielle innkrevingsregler..

    Det er overvekt av «lett underholdning» i både radio og TV..
    NRK radio har nok pluddrekanaler som fylles med popmusikk og tomprat. Det mangler radio med innhold – som f.eks svensk P1.

    Bruk en liten flik av DAB-nettet til å distribuere den ene hovedkanalen til våre nordiske naboland, samt tyskland og england. Det øker den kulturelle forståelsen av våre naboer, i tråd med intensjonene bak Nordisk Råd.

    Svar på denne kommentaren

  3. Kjell Arne Rekaa

    Raskt og ikke veldig bearbeidet forslag – men tips til en begynnelse – putt alt inn i en MarieDB eller Postgres-SQL DB basert på f.eks.

    CREATE TABLE NRKbeta-kommentarer
    (
    Id int PRIMARY KEY,
    MorId Int FOREIGN KEY,
    Brukernavn varchar(255),
    BrukerEpost varchar(255),
    DatoTid DATE,
    Kommentar CLOB
    )

    » 1. Eksporter alle data – og last de inn i en tabell lik denne over

    2. Hvis det er en ‘topp-kommentar’ er MorId=0, hvis det er en kommentar til en annen kommentar, er MorId lik Id til kommentaren som er kommentert.

    3. Utfør søk og sortering på typisk felles kommentarer …

    Svar på denne kommentaren

    • jeg trur kanskje du IKKE bør prøve å forstå problemstillingen engang.

      den skisserte løsningen er så blåøyd og langt vekk fra virkeligheten at man er ikke engang i nærheten av å kunne gjøre noe som helst med dataene som det spøres etter eller man ønsker.

    • jeg svarer lenger ned: manuelt.

      maskinellt har man ikke gode nok verktøy.

      tekstkorpus er også for liten for noe analyse av den.

      og det finnes ekstremt lite som tar dette på norsk av de analyseverktøy som faktisk kunne hjulpet dere. hadde svarene vært på engelsk, tysk, kinesiske el. så er dere mye nærmere. for ett tuslete halvdødt språk med omtrent 4 millioner som snakker det (resten er ungdom med talefeil og utlendinger som ikke kan sies å snakke norsk ;), er det lite håp om at slike verktøy vil bli gode før ett eller annet norsk universitet setter igang denne jobben med å lage basisdataene basert på norsk språk.

      så sett gjerne i gang med å studere standford NLP el. og bistå de i å hoste opp konfiger for flere språk mm. men det er kanskje mer enn dere ville gjøre til å begynne med? 😉

  4. Jeg gjennomgår laaaangt over 172 sider, selv hver uke, i min jobb for å holde meg oppdatert og i form av tilbakemeldinger. Neste uke skal jeg gjennom rundt 700 sider, og det er alene, uten noen som helst hjelp. Det meste må huskes, nesten alt må forstås, og rundt 20% skal brukes umiddelbart, 40-50% over tid. Uken etter der er det ytterligere mange flere sider enn 172 A4-ark. Dette har jeg gjort nå i godt over 15 år. Så et mulig forslag for å effektivisere er rett og slett at dere jobber litt mer, fordi jeg regner med at dere er flere om dette. Hvis ikke må det da finnes andre som kan bidra med en liten hjelpende hånd. Hvis man først setter seg ned med dette er det kjempeenkelt å få oversikt og systematisere ut fra flere ønskede kategorier.

    Evt: send meg en mail og jeg kan jobbe med/for dere på timesbasis.

    Svar på denne kommentaren

  5. Dette er ganske vanskelig ja.
    Men jeg ville gjort som følger: definer endel ord som «emneknagger» spesielt de største ordene i ordskyen over, samt andre nøkkelord. Deretter kan dere da lese alle kommentarene relatert til denne «emneknaggen». Videre kan dere da isolere innspill og bare få opp relavente meninger på gitte emneord.

    Videre ville jeg da ha satt en «relevant score» på hver kommentar relatert inn mot gitte emneknagg. Eks: «positiv/negativ score» og eventuelt «gammeldags/fremtiden score».

    Eksempelvis kunne en fiktiv kommentar:
    «Lisensen og Nett tilbudet er kjempebra, programmene på TV holder for lav kvalitet.»
    På Lisens og nett ville denne fått score som positiv, mens på TV ville den fått negativ score.

    Dermed ville man få en rekke data og kvalitets verdier på hver enkelt kommentar.

    Kan foreksempel lagres slik:
    comment_1234.quality = 5;
    comment_1234.nett.relevance = 3;
    comment_1234.nett.positive = 7;
    comment_1234.tv.relevance = 4;
    comment_1234.tv.positive = -2;
    comment_1234.license.relevance = 3;
    comment_1234.license.positive = 7;

    Dette kan selvfølgerlig gjøres enda mye mer komplekst, men data i tekstform som dette uten å ha et slags «spørreundersøkelses skjema» – «helt enig, enig, delvis…» så blir det vanskelig..

    Uansett lykke til med den store oppgaven.

    / Anders

    Svar på denne kommentaren

    • problemstillingen her er vanskelig.

      å tru at man klarer å hoste opp noe som helst som er godt her tilsier at man (trur man) er skarpere enn google, netflix, failbook, IBM mfl. i samme rennet.

      det er en måte å ordne dette på: manuelt

      all annen forsøksvis sortering på å gjøre noe som helst kvantifisering av disse ustrukturerte dataene vil gi feilkilder. det vil forsåvidt også en manuell håndtering, men da kan man gjøre flere manuelle (flere personer kan gjøre analysen).

      hvis det var så enkelt som det ovenstående, så er jo dynamitten sprengt (http://www.nytimes.com/2008/11/23/magazine/23Netflix-t.html?pagewanted=all&_r=0), og maskiner blir mer intelligente enn Watson (http://www.youtube.com/watch?feature=player_embedded&v=Y_cqBP08yuA) over natta.

      og du blir rik om du har en slik løsningen. veldig rik!

    • Kristian Z (svar til Anders Wisur)

      Hvis det er slike data du vil ha ut ville det være mye enklere (og mer nøyaktig) å bare gjennomføre en tradisjonell spørreundersøkelse.

      (Edit: Som du jo er inne på selv…)

  6. En formidabel oppgave absolutt, men her skal man ikke anta hva noen andre vil like/er på jakt etter. Her skal man rett og slett strukturere eksisterende data inn i fornuftige og håndterbare størrelser.

    Absolutt vil det være feilkilder her, men alternativet med at alle må lese 170 sider tekst for så å diskutere/trekke konklusjoner på det er nok enda større feilkilde.

    Som også NRKbeta kom frem til må dataene struktureres på en måte, men hvordan?

    Svar på denne kommentaren

  7. Samfunnsforskere og antropologer som jobber med analyse av store mengder ustrukturerte tekstdata som minner om denne NRK-undersøkelsen, bruker ofte en egen type programvare for dette, kalt Computer-assisted qualitative data analysis software (CAQDAS). Med slik programvare leser en teksten og legger til tagger. Eksempler på noen relevante tagger for dette datasettet kunne for eksempel vært «fornøyd/misfornøyd med lisens», «mer sport/mindre sport» osv. Hvilke og hvor mange typer tagger er bestemmes av den som gjør analysen og kan endres underveis. Programvaren gjør det lett å trekke ut sitater som deler en tagg (f.eks. mest representative sitater fra sportshatere) eller gjøre kvantitativ opptellinger av hvor mange av innleggene som støtter et bestemt syn basert på tagginga.

    Svar på denne kommentaren

    • Anders Hofseth (NRK) (svar til Harald)

      Hvordan burde man gått frem for å finne relevante og objektive tagger?

      Wikipediaartikkelen nevner noen web-verktøy – er det noen av dem som kan anbefales? En mest mulig åpen og gjenbrukbar behandling av innholdet er vel det beste?

    • jeg gjentar meg selv her: glem det.

      det er manuelt arbeid som kan gi dere noe som helst.

      lik det eller ikke, men vi snakker manuelt arbeid her.

      og igjen: manuelt altså…

      joa dere kan leke litt med å leie Watson noen timer etc.

      men det er for lite tekst.

      om Watson i det hele tatt var villig til å leke på norsk selvfølgelig.

    • Anders Hofseth (NRK) (svar til navn)

      Da har du gjort dette synet relativt tydelig, navn 😉

      Hvis du skulle løst oppgaven på manuelt vis, men uavhengig av NRK og ressursene vi i NRKbeta-redaksjonen eventuelt kunne bidratt med, slik at ikke noen skulle kunne stille spørsmål ved objektivitet eller metode; hvordan ville du løst det?

    • var det ikke en over her som tilbød seg å leie seg inn noen timer?

      men seriøst. det finnes mange som har arbeidet kvalitativt over lengre tid, som er vant til å gjøre slike analyser. sikkert ett og annet analysebyrå også.

      problemet igjen er jo at all kvalitativ analyse er befengt med «objektivitets-utfordringer» i sluttresultatet:
      – hvordan skal vi forstå de svarene vi har fått objektivt?

      tenk norsk kjønnsforskning og egne programmer i nrk om samme.

      akkurat som kvantitativ analyse er befengt med «objektivitets-utfordringer» i startpunktet:
      – hvordan skal vi formulere spørsmål, sammenhenger og alternativer slik at svarene vi får er objektive?

      tenk klassiske statistiske markedsundersøkelser hvor spørsmålsstilling og svar er med på å styre retningen av statistikken.

      så nei, dere får ikke dette resultatet objektivt og uten spørsmål.

      ingen sølvkule på gang her nei.

      maskinell analyse (om den fantes) ville tildels kunne ha gitt dere en slik sølvkule, men igjen, bare les dette om igjen. rekursivt og fint dette problemet ja.

    • Morten Wang (svar til Anders Hofseth)

      Så ikke denne diskusjonen før i dag, beklager treghet.

      Det jeg ofte ser forskere gjøre når det gjelder å finne tagger er å starte med et håndtérbart tilfeldig utvalg. Dere har 400 kommentarer, kanskje fler, ta et tilfeldig utvalg av 50 eller 100. Ha to eller tre personer som går gjennom disse, og avtal på forhånd hvordan dette skal gjøres (dvs ha en felles forståelse av hva dere jakter på). Så tagger dere individuelt dette utvalget. Etterpå sjekker dere i hvilken grad dere er enige (på engelsk kalles dette «inter-rater reliability», IRR, se for eks Cohen’s kappa) og går gjennom og løser alle uenigheter. Da vil dere ha en kodebok som alle er enige om.

      Deretter kan dere dele opp de gjenstående kommentarene og kode disse raskere. Notér hvilke kommentarer som ikke passer inn i kodeboken og diskutér disse etterpå så det er enighet. Dere kan evt også la flere personer kode hver kommentar (for eks at 2 personer alltid har kodet en kommentar) så dere kan sjekke IRR igjen.

      Det jeg i bunn og grunn har beskrevet her er vel det som kalles Grounded theory. Som Harald nevner finnes det programvare som gjør dette arbeidet enklere.

    • tror du en papegøye forstår hva den sier?

      ikke jeg heller.

      så slike googlinger for å finne noe «verktøy» som kan løse NRKs problem er lite relevant.

  8. Torleiv Aarrestad

    Hei Anders.

    Jeg er redd for at det er som navn her sier, dette er en manuell oppgave.
    Men det betyr ikke at en du kan få hjelp med sorteringen ved hjelp av å tagge nøkkelord.

    For eksempel vil ordet «Lisens» (etter å ha lest ca. 340 av innleggene) gi en ca. 94% for og 6% mot. Dermed vil du ha et ganske godt grunnlag å vurdere hva dem som har skrevet et innlegg mener.

    Her er det dog fare for feil og jeg vil nevne:
    Hvor mange av dem som har lagt et innlegg er i aldersgruppen under 20, over 70, ser helst på andre enn NrK, har utdanning, ikke utdanning, politisk stå sted, etc.

    Selv om tiltaket er kjempeflott, tror jeg at det dere har fått inn best kan benyttes for å lage en markedsundersøkelse. Med andre ord dere har nå fått inn et fantastisk materiale til å kunne utforme de rette spørsmålene.

    Mitt forslag vil da være å ta med alle sidene til møtet som dere skal ha og si at vi har fått mange flotte forslag, men ønsker en markedsundersøkelse som baserer seg på et snitt av befolkningen (siden alle med TV betaler lisens og alle har TV og er da medeier i NrK). Når dere har fått et ja, legg så gjerne ut spørsmålene her for en kommentar om innholdet og kanskje en feedback på om noe mangler eller burde utdypes.
    La så et markeds-/gallupselskap ta jobben med å gjennomføre undersøkelsen.

    Dere vil da ha et unikt materiale til å bygge Nrk slik det norske folk ønsker å ha NrK.

    Jeg har sagt min mening i det opprinnelige innhentingen, så for meg blir det det samme 🙂
    Men jeg tror verdien av materialet vil være bedre om dere foretok en slik undersøkelse.

    Lykke til og takk at vi har fått være med på dette!

    Svar på denne kommentaren

  9. Dere kan tilpasse koden jeg skrev for noen dager siden for å generere emneknagger/tagger ved hjelp av elasticsearch og norske wikipedia: https://github.com/inconvergent/es_tagger (Det er MIT-lisens på min kode, og alle de andre verktøyene er gratis.)

    Vil kanskje tro dere kan forenkle dette litt ved å bare bruke settet av kommentarer som corpus, men her snakker jeg uten å vite noe særlig om datasettet. Kan dere kanskje slippe det ut i det fri?

    Svar på denne kommentaren

  10. torleif remme

    Enkelt. Generer et pdfdokument av ALLE innspillene med innholdsfortegnelse man kan klikke på. Lever filen til statsråden og legg den også ut på nrk.no. Så får man et grunnlag for en åpen debatt. Og det koster ingenting. Tips tilby det som et prosjekt til en VG2klasse på IKT.

    Svar på denne kommentaren

  11. Dere kan skille hvert innspill og poste dem på nettsiden i en slags boks. Så i denne boksen kommer det opp ett innspill om gangen, så kan leserne her på nrk gå igjennom innspillene og rangere de etter f.eks. enighetsgrad eller viktighetsgrad, f.eks. en skala fra 1 – 10. Når de har rangert ferdig, trykker de på «neste» og et nytt innspill kommer opp. Så gjør man det samme.

    Innspillene må komme opp i helt tilfeldig rekkefølge, slik at alle innspillene blir vurdert like mange ganger. Lar man dette gå sin gang i et par uker, vil man ha fått sortert ut de viktigste/mest populære innleggene og derifra kan man finne ut hva som er viktigst for flest å få videreformidlet til kulturministeren.

    Sånn rent teknisk er jeg ikke sikker på hvordan dette lar seg gjøre, men jeg har sett tilsvarende mange steder, så det kan da ikke være så vanskelig.

    Kunne dette vært en løsning?

    Svar på denne kommentaren

    • Rasmus (svar til Rasmus)

      Et annet alternativ: Inviter videregående-klasser over hele landet til dugnad. De kan diskutere og rangere innleggene etter hvilke de mener er viktigst. Dette kan man gjøre i norsktime, klassens time, på engelsk i engelsktimen osv.

      Man kan bruke samme system som jeg nevnte i mitt første innlegg. Læreren styrer ordet, drar frem ett innlegg om gangen, sier «Hva syntes dere om dette?» Så rangerer de til slutt. Så er det neste innlegg, osv.

    • Håkon (svar til Rasmus)

      Jeg liker dette forslaget. Inviter igjen til en åpen runde der folk kan lese og systematisere kommentarene, og rangere etter relevans, og legge til tagger.
      Dersom tilstrekkelig mange leser og rangerer kommentarene vil dette kunne dele dem grovt inn i respektive grupper, og sile ut urelevante kommentarer. Kommentarer med veldig liknende tagger ender opp «sammen», noe som gjør huskearbeidet enklere.

  12. Lei inn en apekatt. Gi apekatten en dartpil. La den kaste dartpila x ganger mot alle de 172 arkene som er hengt opp på en vegg. Samle sammen de papirene som ble truffet. List alle ordene som spesifikt ble gjennomborret av dartpila. Sorter ordene. Kast alle ord som inneholder mer enn fire konsonanter. Klipp opp ordene i bokstaver. Sett bokstavene sammen til ord. Publiser disse ordene her på nrkbeta så skal vi hjelpe dere med å tolke hvilken betyding de kan ha.

    Svar på denne kommentaren

  13. Steinar Kjærnsrød

    Ring til Hans Rosling (http://www.gapminder.org/) 🙂

    Jeg ville gjort to ting -1) Skaffet meg en grov statistisk oversikt over noen av de viktigste temaene folk har tatt opp og 2) Lett etter eventuelle enkeltforslag som skiller seg ut. Jeg tror 2) er viktigere enn 1), men materialet dere har fått inn er kanskje ikke stort nok. For gitt at statistikken viser at folk flest er «fornøyd» med mye av det dere gjør, så har dere vel ikke tenkt å ta det til inntekt for at dere kan lene dere tilbake og bare fortsette i samme baner? Den statistiske signifikansen i datasettet tror jeg dessuten er begrenset. Derimot kan det hende det er noen kreative forslag og kommentarer som skiller seg ut. Disse bør ses nøyere på. NRK har til alle tider vært nyvinnende og kreative i alle sine kanaler, og kanskje spesielt på nett. For å kunne fortsette dette, må man nok tenke litt utenfor «boksen». På nett er jeg spesielt imponert over hvordan den tekniske realiseringen av tjenestene STØTTER opp om den egentlige kreative ideen og styrker brukeropplevelsen, i stedet for at man hiver seg på teknologi ukritisk for teknologiens egen skyld. Noe som er lett å gjøre på nett pga. arsenalet av nye tekniske muligheter.

    Jeg er spent på fortsettelsen, stå på!

    Svar på denne kommentaren

  14. David McArthur

    You need to seek the advice of a qualified qualitative researcher. There is a vast scientific literature on how to analyse such texts in an appropriate way. Generally the process involves coding the responses in some way, usually using software specially designed for the purpose (e.g. NVivo).

    Svar på denne kommentaren

  15. Dere har to hovedparametre å klassifisere etter: emnet i kommentaren og ID på den som skrev. Jeg antar at flere av kommentatorene har skrevet enten flere ganger eller omtalt flere saker/emner i sin kommentar, i tillegg til at selvfølgelig veldig mange har kommentert på samme emne.
    Forslag: Ordne det opprinnelige dokumentet slik at det har rapport-format (vanlig word-dokument el.l). Sett inn sidetall. Skriv ut de 170 sidene. Ta en elektronisk arbeidskopi av den samme datafila.
    Lag så en tabell. Gi hver kommentator-ID en rad. Gi hvert emne tre «del»-kolonner som øverst samles til én «emnekolonne» (omtrent som et regnskap hvor hver regnskapskonto er delt i debet og kredit, men her skal det altså være tre delkolonner). Kall to av de tre delkolonnene for hhv. ja/nei eller pos/neg, enig/uenig eller tilsvarende. Den tredje delkolonnen kalles «kommentar» eller «tekst» eller tilsvarende.

    Ha papirkopien på bordet ved siden av deg slik at du kan skrive merknader med en blyant etter hvert. Start med arbeidskopien på pc-en. Gå gjennom kommentar for kommentar, slett etter hvert som de blir bearbeidet. Skriv inn ID og fyll ut bortover raden for denne kommentatoren: et avsnitt som klart angir «enig i lisens» gir et ett-tall (el.l) i delkolonne «enig» under emnet «lisens». Slett avsnittet. En annen kommentator lenger ned har skrevet noe mer utførlig og interessant om lisensen: klipp og lim inn i den tredje delkolonnen under emne «lisens» på raden til denne kommentatoren. Slett fyllmasse etter hvert.

    MULIG det trengs en kolonne helt til venstre eller høyre i tabellen hvor man angir at «denne kommentaren hører sammen med en annen/svar på sånn og sånn -en eller annen form for kobling mellom kommentarer eller personer eller kanskje papir (sidetall) og pc – vurder selv. En kolonne for hvor verdifullt dette innlegget vurderes å være (en-to-tre stjerner el. bare stjerne/ikke stjerne) kan også være nyttig.

    Så er det bare å gjøre jobben. Alle enkle «nei til reklame» blir til et antall ett-tall i delkolonnen «nei» under emne «reklame» og kan summeres opp nederst. Interessante kommentarer om programledernes språk står under hverandre i delkolonne «kommentar» under emne «språk» eller «programledelse» eller whatever. Osv.

    Vask datasettet: Kommentatorer som hører sammen flyttes sammen vertikalt slik at de kommer etter hverandre nedover. Trestjerners innlegg legges etter hverandre. Emnene kan kanskje bytte plass innbyrdes, duplikater slettes, osv.

    Poenget er: rydd og systematiser mest mulig, men ikke for mye. Behold utgangspunktet urørt fordi det helt sikkert dukker opp noe som tilsier ny gjennomgang av akkurat «det» eller «det». Når alle kommentarer som lar seg kategorisere i tabellen er slettet fra arbeidsfila står dere antagelig igjen med noen få sider ukategoriserbart materiale som det er lett å forholde seg til manuelt, for eksempel kommentarer som krysser emnegrenser, type nye forslag til hvordan droppe lisens uten å innføre reklame, kommentarer som i og for seg virker usaklige eller i overkant kreative men som kan være godt utgangspunkt for brainstorming, etc.

    Trekk konklusjoner for hvert emne: «96% nei til reklame? OK, nei til reklame. Ferdig.» «Språket i NRK? Mange nyttige innspill; marker kolonna, kopier, lag eget dokument, send til rett instans.» Osv.

    Ta de emnene som ikke har kommet ut med krystallklare, entydige konklusjoner, bruk disse som grunnlag for en markedsundersøkelse som foreslått av andre. Test spørsmålsskjemaet først slik at dere vet at det er egnet til å gi nyttige svar (90% av markedsundersøkelsene burde aldri vært gjennomført av denne grunn).

    Gå gjennom merknader skrevet med blyant i papirkopien og hent inn nyttig stoff derfra som supplement til slutt, slik at ingenting blir oversett.

    Lykke til! (Jeg kan også ta oppdrag som dette 🙂 )

    Svar på denne kommentaren

  16. Hvordan materiel skal benyttes mangler fra diskusjonen. Dere starter med et premiss; dere savner brukerens stemme.

    Vel, brukerens stemme er kun av interesse hvis den avviker fra produsentens (NRK) interesse

    Så; få den personen/avdelingen som skal komme opp med NRKs syn til å presentere sitt syn punktvis. Gå deretter igjennom kommentarene og flagg de kommentarene som IKKE representeres av NRK allerede.

    Nå har du sannsynligvis redusert dine 450 kommentarer betydelig.

    Nå sitter du igjen med manuelt arbeid. Objektivitet kan ikke garanteres, men å lage statistikk / tagging på et så lite datagrunnlag vil kunne angripes uansett, så den eneste måten å fristille seg fra påstander om objektivitet er å utforme en universel spørreundersøkelse og sikre en mye større deltagelse. Noe som tross alt ikke er reelt i tidsrammen dere har.

    Svar på denne kommentaren

  17. Andreas Øvstebø

    Foreslår følgende algoritme:
    1. Sorter setningene etter antall ord. Det er bør være sikkert å anta at korte setninger er mindre komplekse, og dermed lettere å tolke maskinelt.
    2. Forsøk å fjerne unødvendige preposisjoner og andre «hjelpeord». Husk at negeringsord som ikke, ei, kontra, motsatt må identifiseres for å korrekt tolke meningen.
    3. Se hvor mange like slike 2-3-ords setninger man får. Dette bør kunne brukes direkte i statistikk.
    4. Forsøk å pare de øvrige setningene på f.eks. ett eller to fellesord.
    5. Gå gjennom de lengste eller mest tungvindte setningene manuelt.

    Svar på denne kommentaren

  18. Legg rådata ut offentlig.
    Lag en konkurranse blant de som bidrar med en analyse.
    Premier etter kategorier som
    18år og yngre
    Samfunnsforskere
    Universitet
    Amatørforskere (egentlig bedrevitere men)
    ..
    ..

    På den måten etablerer du mulighet til flere tolkninger av de samme data. En risiko blir selvfølgelig etterpå at dere etablerer en mulighet for å studere studier. Men poenget er at denne type data alltid er opptil den enkelte å trekke personlige konklusjoner fra.

    Lykke til.

    Svar på denne kommentaren

  19. Karl Ove Hufthammer

    Viss ein seriøst ønskjer å bruka tilbakemeldingane, som jo ein bør når folk har brukt mykje tid på å komme med dei, bør ein bruka dei gode metodane som faktisk finst, og som har blitt utvikla for nettopp slikt, gjennom mange tiår med prøving og feiling og vitskaplege diskusjonar. Men det kostar litt, i kroner og ører og tid.

    Det første ein treng er ein person med kompetanse i kvalitativ metode. Det finst nok av ferdig utdanna masterstudentar innan samfunnsvitskap e.l. som har skaffa seg denne kompetansen og praktisk erfaring. Personen treng så eit godt dataprogram for systematisering av informasjon, for eksempel NVivo (http://www.alfasoft.com/no/produkter/statistikk-og-analyse/nvivo.html). Og personen treng tid og lønn. Resultatet kan verta veldig bra.

    Alternativet er å bruka dårlege, tilfeldige metodar, og få ditto resultat. Om ein har respekt for dei som har komme med sine ærlige tilbakemeldingar om NRK, bør ein velja den første løysinga.

    Svar på denne kommentaren

  20. Hei. Driver selv med administrering av underholdningsbaserte nett-tjenester, og er forvirret.

    Hva er dere ute etter?

    -Er det rene innspill om innholdet i NRK’s totale sendeflate, hvordan denne skal brukes så kunne dere fått millionvis av svar. Noen elsker Dan Børge, andre elsker Kåre Magnus Bergh, og meningene er like mange som mennesker i verden.

    -Dreier det seg om bruk av NRK’s til enhver tid tilgjengelige materiale er det en helt annen sak der layout og kategorisering på primært diverse nettverksløsninger er tema.
    ( Der jeg personlig er skuffet over at man må være noe over middels «brukanes» for å finne programmer som finnes, men som ikke kommer opp når man trykker på f eks «kategorier» > «filmer og serier». Noen har bestemt at jeg kan velge mellom 24 filmer eller serier. Jeg VET at «Unge Inspektør Morse» og «Med hjartat på rette staden» finnes tilgjengelig, og jeg finner dem greit nok, men min mor har ikke sjans lenger. Etter at alt tilgjengelig under hver kategori som var alfabetisk listet under kategoriene forsvant ble det vanskelig for henne. Å måtte vite eksakt navn på programet man ønsker, gjør navigering, og «vindu-shopping» av ting man kan ha gått glipp av, nær sagt umulig for de «nett-handikappede».)

    Så definer hva som ønskes innspill om:
    – Dreier det seg om radio eller TV?
    – Ber dere brukere om innspill på hvordan nett-baserte tjenester kan forbedres?
    ( Herunder kategorisering/ menyvalg/ chatmuligheter og lignende). Dette er en sak for NRKbeta, siden innspillene hovedsaklig vil komme fra brukere av nettbaserete tjenester)
    – Ber dere brukere om innspill på bruk av sendeflater som helhet?
    – Ber dere brukere om innspill på programvalg/ programledere?
    – Dreier det seg om lisens kontra reklame?

    Noe kan dere be om hjelp til, men en totalgjennomgang av hele NRK sluppet løs, vil bare skape koatiske mengeder data, inneholdende løse innspill, direkte feilaktige utsagn, useriøse utbrudd, gode del-løsninger, mulige total-løsninger, positive tilbakemeldinger osv; men aldri verden vil dette kunne sies å være «fasit».

    For å få de svarene jeg tror dere søker, må dere stille korte, konsise spørsmål, med mål og mening. For å bare slippe alt løs har jeg ikke noe tro på. Det må være korrelasjon mellom spørsmål og svar, slik at spørsmål om f eks nyhetene, som besvares med at «jeg synes radioresepsjonen er kjempekult» bare kastes i søpla…

    Det finnes ikke ett «perfekt NRK for alle», men det finnes løsninger for forbedringer for mange i en rekke kategorier.

    Skal prøve å gjøre mitt svar kort og konsist:

    Det må defineres kategorier og underkategorier det ønskes innspill om, med medfølgende korte og klare spørsmål.
    ( Herunder må det på forhånd være definert for de som skal lese dataene, hvilke typer innspill som kan ha relevans, og hvilke som må slettes grunnet irrelevans)

    For når alt kommer til alt, er det uinterressant for de som skal lese og analysere dette, om 2 mennesker har uttalt seg om program eller programledere. Seer-/lyttertall forteller mye om eksisterende program og programvalg. For evt nye programmer, antar jeg at det allerede finnes analysegrupper for dette innen NRK;)

    Beklager mitt ordrike svar. Det hjalp sikkert på leselysten.

    Svar på denne kommentaren

  21. Paul G.R. Bowen

    There are academic methods for extracting meaning and themes from free text. Giorgi describes one approach, which is explained in the paper below: there are many others which use the same approach. It will be fairly labour intensive:

    http://www.ncbi.nlm.nih.gov/pubmed/23221918
    Scand J Public Health. 2012 Dec;40(8):795-805. doi: 10.1177/1403494812465030.
    Systematic text condensation: a strategy for qualitative analysis.
    Malterud K.

    Systematic text condensation: A strategy for qualitative analysis.
    Kirsti Malterud
    Research Unit for General Practice, Uni Health, Uni Research, Bergen, Norway, Department of Public Health and Primary Health Care, University of Bergen, Norway, and Research Unit for General Practice in Copenhagen, Denmark.
    Scandinavian Journal of Public Health (Impact Factor: 1.97). 12/2012; 40(8):795-805. DOI: 10.1177/1403494812465030
    Source: PubMed
    http://www.researchgate.net/publication/233880016_Systematic_text_condensation_A_strategy_for_qualitative_analysis

    Abstract
    AIMS:

    To present background, principles, and procedures for a strategy for qualitative analysis called systematic text condensation and discuss this approach compared with related strategies.
    METHODS:

    Giorgi’s psychological phenomenological analysis is the point of departure and inspiration for systematic text condensation. The basic elements of Giorgi’s method and the elaboration of these in systematic text condensation are presented, followed by a detailed description of procedures for analysis according to systematic text condensation. Finally, similarities and differences compared with other frequently applied methods for qualitative analysis are identified, as the foundation of a discussion of strengths and limitations of systematic text condensation.
    RESULTS:

    Systematic text condensation is a descriptive and explorative method for thematic cross-case analysis of different types of qualitative data, such as interview studies, observational studies, and analysis of written texts. The method represents a pragmatic approach, although inspired by phenomenological ideas, and various theoretical frameworks can be applied. The procedure consists of the following steps: 1) total impression – from chaos to themes; 2) identifying and sorting meaning units – from themes to codes; 3) condensation – from code to meaning; 4) synthesizing – from condensation to descriptions and concepts. Similarities and differences comparing systematic text condensation with other frequently applied qualitative methods regarding thematic analysis, theoretical methodological framework, analysis procedures, and taxonomy are discussed.
    CONCLUSIONS:

    Systematic text condensation is a strategy for analysis developed from traditions shared by most of the methods for analysis of qualitative data. The method offers the novice researcher a process of intersubjectivity, reflexivity, and feasibility, while maintaining a responsible level of methodological rigour.

    Svar på denne kommentaren

  22. Andreas Viumdal

    Dersom 170 sider med tilbakemeldinger – dog i en uorganisert form – er for mye, tror jeg NRK har ansatt feil folk til å behandle dette. Få inn en person som har erfaring og kompetanse på forskning, evaluering og systematisering, er vel det beste tipset.

    Svar på denne kommentaren

    • Anders Hofseth (NRK) (svar til Andreas Viumdal)

      Det er mulig biten i artikkelen om Objektiv metodikk var litt uklar, men NRK har besluttet at vi ikke skal ha noen finger med i å sammenfatte eller behandle publikumsinnspillene for høringen.

      Det kan være vi gjør egne evalueringer og sammenfatninger, men de vil være til eget bruk.

      Ansvaret for metodevalg og systematisering av publikums syn er mao. overlatt til dem som måtte velge å behandle innspillene – evt med råd, hjelp og metodeinnspill fra frivillige; som i dette kommentarfeltet.

  23. Bjørnar Fjeldstad

    Ta i bruk kategorisering og card-sorting

    Dere er nødt til å gå igjennom alle sidene med kommentarene. Når dykk gjer det, finn tema/ord som går igjen i kommentarer og skriv disse på post-it-lapper. Sorter sidene etter emne/navn/verb Dykk bruker og sjå kva tema som skiljer seg ut. Ein vil gjerne ha alle brukere sine ideer, men sidan dette er bort i mot umuleg, må ein skilje ut hovedpunktene til statsrådene. Slik kan ho få hovedpoengene og ønskjene til befolkningen.

    Svar på denne kommentaren

  24. Når dere først har invitert oss til å gi dere tilbakemeldinger om hva vi seere/ lyttere av NRK mener. Skylder dere oss å lese igjennom alt uansett om dere må gjøre det manuelt på data eller på utskrift!!! Sorter dem deretter i temabunker eller higlight de viktigste emnene i tilbakemeldingene og skriv en egen liste der disse emnene samles. !!!!!

    Svar på denne kommentaren

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *. Les vår personvernserklæring for informasjon om hvilke data vi lagrer om deg som kommenterer.