Fra februar har du måttet svare på noen enkle spørsmål for å kommentere på NRKbetas artikler. Den nå verdensberømte quizen har også fått andre bruksområder.
Først, litt navlebeskuelse og kontekst.
I februar prøvde vi et nytt eksperiment her på NRKbeta: en obligatorisk quiz for å kommentere på enkelte av artiklene våre. Tross mange andre mediers erfaringer har vi alltid hatt et kommentarfelt med høyt nivå på NRKbeta.
Publikums kommentarer har sørget for at vi har løst vanskelige problemer, gjennomført gode idéer – til og med ansatt flinke folk! Kort sagt en verdifull arena vi bruker mye tid på å vedlikeholde og forbedre.
Men etter hvert har enkelte av våre mest leste saker fått et kommentarfelt som ikke holder den vanlige kvaliteten, og vi mistenker at flere kun har lest overskriften på saken før de kommenterer.
Derfor kom idéen om en fartsdemper i form av en quiz.
Den skulle forhåpentlig bidra til noen sekunders pause før en gjør seg klar til å hamre løs på tastaturet.
Verden rundt
Like etter vi lanserte funksjonen ble den plukket opp av Harvard-universitetets Nieman Lab, en anerkjent redaksjon som skriver om ny journalistikk. Deres artikkel startet en tsunami av internasjonal oppmerksomhet.
Eksperimentet fikk mye ros fra kjente mediefolk. Etter at CNN, France24, BBC og Gizmodo plukket opp eksperimentet vårt mottok vi en strøm av intervjuforespørsler fra radio, TV og nettsteder over hele verden.
This project from @NRKbeta and @NRKno is quite possibly one of the best new journalism ideas I've seen, ever.https://t.co/DCT3s9pDty
— Amy Webb (@amywebb) 1. mars 2017
Redaksjonen måtte på rundgang svare på spørsmål om quizen kom som et resultat av at vi hadde et forferdelig kommentarfelt (nei, egentlig ikke), om kvaliteten hadde gått opp (nærmest umulig å si) eller om eksperimentet virkelig hadde vært en suksess (aner ikke, det hadde bare vært oppe i noen dager).
Vi holdt oversikt over publiserte artikler til det nådde rundt 300 og merker fortsatt etterdønningene.
Today in Great Ideas Of Our Age, this Norwegian news site stops readers commenting unless they read the story https://t.co/lOZYkDtvbI
— Dave Lee (@DaveLeeBBC) 2. mars 2017
Bare for noen få dager siden fikk en lenke til Independents sak om vårt eksperiment over 86 000 «upvotes» på Reddit, og en tweet fra Wall Street Journals teknologi-spaltist har fått 5 000 retweets og nærmere 8 000 likes. Ikke verst til Twitter å være.
TIL if you want to comment on the Norwegian news site, NRKbeta you must first take a quiz to test your basic understanding of the article. This is done to prevent ranting and foster positive conversations from todayilearned
Tilbakemeldingene fra den øvrige mediebransjen og de aller fleste av våre lesere har som nevnt vært positive – men det er altså på konseptet og det at vi har lansert det, snarere enn våre erfaringer. De hadde vi jo enda ikke fått.
Kombinasjonen av en mediebransje på desperat jakt etter nye ideer, fortvilelse over enkelte dårlige kommentarfelt og en tilsynelatende enkel og god løsning viste seg i hvert fall å være en potent viral miks.
Så la oss prøve å oppsummere litt, nesten et halvt år etter lansering.
I kommentarfeltet vårt er løsningen selvfølgelig blitt flittig diskutert. Det store flertallet har vært positive, men minst én av våre lesere mente en slik quiz i seg selv er en dårlig idé fordi detaljer som om en konferanse heter F8 eller Eight ikke har noen ting med «om man er kvalifisert for å kommentere det som går på det virkelige innholdet i artikkelen».
En annen foreslår en liten endring i konseptet og legger til «Hilsen en som skriver i et kommentarfelt for første gang på 10 år med ny optimisme!». Det blir vi glade for å høre.
Vi har nå sett nærmere på quizmodulens trafikktall, men her er det ikke veldig logiske eller entydige svar å spore. I hvert fall ikke hvis man tar utgangspunkt i at alle som tar quizen vil legge igjen en kommentar.
Det virker nemlig som mange tar quizen for å sjekke hvor mye de husker fra artikkelen – men ikke nødvendigvis for å kommentere.
Spesielt på vår sak om hvordan man kunne like Facebook-statuser med en regnbue under Pride hadde svært mange forsøk. Grunnet en menneskelig feil hadde et av svarene ikke blitt markert som det riktige – og det var derfor en periode umulig å få godkjent på quizen, og kanskje derfor så mange feil forsøk.
Gjennomsnittlig er det totalt 72% feilmargin på de som har vært innom quizen. Vi tror mange av disse gale svarene må tilskrives den internasjonale oppmerksomheten. Selv nå «sist runde» med mye trafikk fra Independent-saken via Reddit fikk vi mange besøkende som ble møtt med den ferskeste artikkelen vår. Den handler om hvordan kinesiske DJI vil regulere bruken av verdens droner.
Vi antok at denne ikke kom til å få et publikum mye større enn normalt, og aktiverte derfor ikke quiz-modulen først. Men når det begynte å ramle inn med kommentarer fra Reddit-publikummet som lurte på hvor quiz-modulen var, er det lett å trekke slutningen at de fleste internasjonale besøkende ikke har skjønt noe av quizen, men kun ønsket å teste funksjonaliteten selv.
Antallet saker vi har testet funksjonen på har heller ikke vært veldig stort. Vi har derfor ikke etablert noen faste regler for når modulen skal aktiveres. Tanken var å teste dette på de sakene som har potensial for å få et lite konstruktivt kommentarfelt, noe vi som nevnt er stolte av å svært sjelden ha her på NRKbeta.
Kollega Anders trekker fram at funksjonen hever terskelen for de som bare ønsker å stikke innom kommentarfeltet for å si «gøyal sak» eller «Hei du sinnatagg ro deg ned» før de haster videre, og dermed tipper spillebrettet retning de ivrigste med mest tid. Dermed har innimellom både kvalitet og stemning gått ned, og han har stort sett sluttet å bruke funksjonen.
Det er vanskelig å føre sterke bevis i den ene eller andre retningen, men tallenes tale tyder altså på at quizen har fungert som en lek for mange.
Publikum liker å ta quizen vår for å sjekke hvor mye de husker fra artikkelen, men ikke nødvendigvis for å legge igjen en kommentar.
Skuffende at det ikke var laget en quiz som måtte besvares for å få kommentere på denne kommentar-quiz artikkelen 🙂
Det er jo et veldig godt poeng. Nå er quiz på plass 🙂
Sinnatagg!
Quizen var grei den.
Dette er supert og sannsynligvis langt mer effektivt enn andre norske nyhetsformidlere som har valgt enkle alternativer som facebook kommentarfelt eller lignende som skal sikre økt kvalitet, men som samtidig skremmer vekk alle de som ikke ønsker å signere med fullt navn og likevel har noe verdifult å bidra med. Takk til dere for at dere bruker hodet! 🙂
Dette er en kommentar for å se quizen.
Wohoo.
Jeg klarte quizen.
kommentar for ås e quiz
hei
Hallo vet noen hvor denne kvissen er hen? jeg har lyst å teste mine kunnskaper for å se hvor god jeg er 🙂
Hilsen Gro
Mektig skuffet over at jeg får kommentere på denne artikkelen uten noe bry. Skulle helst sett at jeg måtte gjennom et par klikk før jeg fikk det privilegiet.
Jippi, klarte quizen på andre forsøk!
Leste alt for å ta quizen.
Utakk er verdens lønn 🙁
Flott at NRK prøver ut dette! Ellers var vel et av spørsmålene i denne kvissen litt dårlig formulert? Etter husk: «Bruker journalisten quiz i alle artiklene han lager?» Mulige svar var «Ja», «Enkelte» og «Nei», men to av disse svarene må vel være korrekte? «Nei» ble ikke godkjent, men så lenge ikke spørsmålet var «Bruker journalisten quiz i artiklene han lager?» så må jo begge gå.
*applaus*
Argh, det «alle spørsmålene»-spørsmålet var snikete!
Det var hastverksarbeid ja, men nå er det endret. Litt bedre i hvert fall?
test på vil gjetting på svarene, trengte 3 forsøk…
nei leste overskriften og halve første paragraf, så på noen tall midt i artikkelen..tror det var tall.
zzz
Dette er heeelt fantastisk!
Kommentarfelt på enkelte nettsider handler jo sjelden om saken i det hele tatt, så nå håper jeg å kunne lese en artikkel OG kommentarfeltet, uten at alle kommentarene handler om innvandring
I presentasjonen ville jeg ha tatt vekk den «uteliggeren» der dere hadde kodet feil (1157 gale svar).
Det interessante er ikke antall kommentarer, men antall kommentatorer i forhold til gale og riktige svar.
Hvor mange av de gale besvarerne prøver igjen? Hvor mange avslutter en slik serie med riktig svar — hvor mange hopper av før (Er det alltid 3 spørsmål og 3 alternativer — dvs. 27 alternative kombinasjoner?
En som «bare sjekker funksjonaliteten», uten å kunne språket, ville i så fall gi on forventning om 13 gale svar for hvert riktige.
Quiz-modulen er en genistrek, og burde innføres av samtlige nettaviser og desslike ;). Ville sikkert spart oss for usaklige kommentarer og en del netthets.
Enig med Jon Albert, ett av spørsmålene har to riktige svar. Om denne quizen skal brukes så bør ihvertfall spørsmål og svar gjennomgås skikkelig før det publiseres! 🙂
Og kanskje det holder med ett spørsmål?
Yes, klarte quizen!
Veldig kul ide dette.
Helt fantastisk. Dette burde ha vært obligatorisk på alle nettsteder.
God idé, men man må passe på at man har gode spørsmål og svar. «Bruker Anders quizen på ALLE sine artikler?» «Ja, på ENKELTE artikler» Er et eksempel på et dårlig spørsmål og svar. Ellers veldig bra!
Jeg klarte det uten å lese =D
Hei
Hvis man innførte dette for å kunne stemme ved stortingsvalget ville vi få rekordlav valgdeltagelse men rekordhøy kvalitet!
Skulle bare teste quizen, men kan jo melde inn at
1. Quizen er fortsatt en veldig god ide!
2. På spørsmålet om «Anders bruker quiz på alle sine artikler» er «Nei» også et helt korrekt svar.
🙂
Tror vi har noe genialt på gang. Må sikkert justeres og tilpasses, men kan være med på å lokke undertegnede tilbake til debatten. Har ikke orket på flere år. Ser betenkeligheten med at den favoriserer de med godt tid.
Hei du sinnatagg ro deg ned
Bra løsning!
Første forsøk!
Gøyal sak
Inn på andre forsøk. gratulerer NRK Beta. Artig.
Fantastisk idé! Håper dette sprer seg.
Dette er diskriminering av oss med nedsatt arbeidsminne. Vi har meningen vi også. Bare at akkurat nå har jeg glemt dem.
Pro quiz!
Kreativ og innovativ utvikling som forhåpentlig kan dempe de dårlige sidene med kommentarfelt samtidig som det fortsatt blir mulig å utveksle synspunkter. Vi bør være stolte av den høye kvaliteten som NRK har på mye av jobben de gjør.
Umiddelbart virker det i alle fall som et morsomt tiltak.
Hvis alle quizene er like slurvete formulert, er det ikke rart at feilprosenten blir høy.
Artikkelen forteller om «kollega Anders» at «han har stort sett sluttet å bruke funksjonen.»
Det første spørsmålet i quizen, kombinert med det første svaret er underlig.
Rent formallogisk er det en rekke mulige tolkninger av artikkelens utsagn, men ikke alle disse tolkningene er i rimelig overensstemmelse med alminnelig norsk språkbruk.
Anders kunne for eksempel ha sluttet helt å skrive artikler. Da ville det være mulig at funksjonen var brukt på samtlige (ALLE) artikler, samtidig med at han har sluttet å bruke funksjonen. Men dette og andre tolkninger ville være veldig underfundige, og i strid med modulens erklærte formål, å tvinge folk til å lese artikkelen og få med seg innholdet før de kommenterer.
Den naturlige tolkningen er at han fortsatt skriver artikler, og fortsatt bruker funksjonen (ellers ville han ikke ha sluttet «stort sett», men rett og slett sluttet), men han bruker den sjelden etter at han oppdaget den omtalte virkningen. Da må det også være noen artikler han skriver hvor funksjonen ikke er i bruk.
Da burde svaret NEI være riktig på spørsmål om han bruker funksjonen på alle artikler.
Så har vi det svaret som er registrert som «riktig.» Det begynner med «Ja.» Altså, bekrefter spørsmålets ALLE. Deretter fortsetter svaret med «…enkelte…» Dette er jo riktig, men det motsier første del av svaret. Første svaralternativ er altså både riktig og feil.
Takk for detaljert takedown av spørsmålet. Som nevnt i en tidligere kommentar var dette hastverksarbeid etter at quizen ble etterspurt, så holder dessverre ikke mål. Har du et bedre forslag til et ålreit spørsmål med tre alternativer er jeg interessert i å høre 🙂
Jeg mener at potetproduksjonen i Norge er for høy.
Hehe … Quizen tar nok allmenn reduksjon i «tullesvar», men jeg svarte etter 4 timer i å ha lest artikkelen, så troll tar det nok ikke.
Men bra tiltak …
Jeg skummet artikkelen men klarte quizen 🙂
HVORFOR kan jeg ikke bruke quizen til å kryptere e-post? PGP er så jævla kronglete. Pliiiz, kjære NRKbeta, la det bli virkelighet.
Fortsett med nyskapingen, og quiz på alle artikler.
Veldig bra konsept.
Dette skulle ha vært mal for alle kommentarfelt fra nå av, i alle medier.
NRK sitt kommentarfelt bannlyser din konto for den minste ting, spesielt ved selv den minste kritikk rettet mot NRK… Sist gang gav jeg opp etter jeg opplyste NRK om at de burde deaktivere disquis sin auto ban med for mange negaviv tomler ned. Mine kontoer varer vanligvis bare 2 – 3 dager hvis jeg kommer med mild kritikk slik som nevt over før den blir prermanent bannlyst. Hvis jeg kun gir positive itetsigende kommentarer uten noen form for kritikk så får den være i fred (min rekord er 10 dagers levetid for en konto med den metoden). Samme er med mange andre jeg har snakket med som også sier de har fått sperret sine kontoer uten at de skjønner hvorfor. NRK sitt kommentarfelt er EKSTREMT moderert hvor veldig mange blir eksludert til å kunne delta for den minste ting. Den mest sikre metoden på å øyeblikkelig bli bannlyst er å skrive en kommentar hvor man påpeker nettop dette slik jeg har gjort nå… Jeg har send flere klager til NRK på dette men dere bare benekter at dette foregår. Jeg har selv fått speret kanske 30 kontoer (alle med fult navn) før jeg gav opp… Jeg har aldri blitt bannet noen andre steder enn i NRK sine kommentarfelt, har ikke engang fått sletter kommentarer hos andre…
NRK har igjennom sin ekstemt ivrige bannlysning av kontoer effektiv isolert seg fra all form for kritikk…
Flott ide, årevis siden jeg har kommentert på en artikkel. Fjerner nok ikke allt av troll, men forhåpentligvis de mest uintelligente….
👍🏼😄
Som for mange andre er dette berre ein test 🙂
Men bra tiltak og fortent merksemd rundt om på nettet.
Samtidig som dette krev litt av den som vil kommentera, krev det også litt meir av redaksjonen (som påpeikt i tidlegare kommentarar, ref. feil i sp.m.stilling/svarevaluering).
Veldig bra konsept. Blir vel litt mer arbeid for journalister, men kanskje det kan utvikles en algoritme som plukker ord og lager spørsmål. Gjerne slik at hver bruker får forskjellige spørsmål og spesielt rotasjon når man svarer feil slik at man minimerer gjetting.
Volvo er en fin bil. 🙂
Skulle gjerne sett en grundigere gjennomgang av effekten til quiz mht saklighet og mengde kommentarer på kontroversielle saker. Det siste vil selvfølgelig til en viss grad være basert på skjønn.
For en fantastisk måte å drepe demokratiet på, nrk. Skal ingen høre på oss som har gått på livets harde skole og lært alt vi vet fra dagladets kommentarfelt på tidlig 2000-tall?
Glimrende ide. Kan forhåpentligvis være med å gjøre kommentarer mer saklige.
For en fiffig løsning! Dette vil jeg si facebook burde vurdere å innføre som en funksjon redaksjoner kan aktiviere når de deler nyhetssaker på det sosiale mediet, fordi der er det i hvert fall mange som kun leser overskriften før de spyr ut all mulig usammenhengende misnøye over tastaturet og i kommentarfeltet. Dette vil gjøre en hver kommentar så mye mer fokusert på hva det er meningen noen skal kommentere!
Where is that bloody quiz?!?!
I found it 🙂
Strålende ide.
Veldig bra ide og påfunn. Håper dette blir videreutviklet til aviser og andre nettsider. Det med at det bare er de ivrigste som kommenterer er jo kanskje en bra ting at man tar seg tid til å tenke og lese i gjennom før man sier noe.
me too
[…] the headline of the case before commenting,” NRKbeta writer Ståle Grut explained in a recent article on the new screening feature, according to the Google Chrome browser’s English translation […]
Kult! Er dette noe dere vil gjøre tilgjengelig for andre nettsteder?
Knallbra tiltak!
Kjempebra tiltak 😀
gøyal sak
[…] the case before commenting,” NRKbeta writer Ståle Grut explained in a recent article on the new screening feature, according to […]