nrk.no

Ryddet opp etter at kunstig intelligens begikk rasist-blemme

Kategorier: Kunstig intelligens & Nettjenester

Nettjenesten Aristo svarer på vitenskapelige spørsmål. Og svarer til tider veldig feil.

Aristo er en tjeneste basert på kunstig intelligens som kan svare på et bredt utvalg vitenskapsspørsmål. Men utviklerene hadde glemt at publikum ofte stiller spørsmål utenfor manus.

Det jobbes stadig med å øke kompleksiteten og bruksnytten til systemer med ulike typer kunstig intelligens. Tjenesten Allen Institute for Artificial Intelligence har laget heter Aristo, og har svar på en rekke vitenskapelige spørsmål.

Aristo kan svare fordi den er trent opp på store mengder vitenskapelige artikler og andre informasjonskilder om vitenskap.

På en rekke spørsmål svarer den ganske godt for seg. Den svarer med 99.48 prosent sikkerhet at en skje av metall er en bedre elektrisk leder enn en plastskje, gummistøvler, eller balltre.

På andre spørsmål bommer den. Veldig.

Kvinnehatende rasist, eller dårlig opplært?

Vi kom over Aristo på det noe nerdete nettsamfunnet Hacker News, og der begynte medlemmene ganske kjapt å utfordre tjenestens påståtte kognitive evner.

I Aristos verden falt en fjær alltid raskere enn en stein. Faksimile: Aristo

Det ble dessverre ikke bedre. Da de spurte Aristo om jorden er flat, rund eller oval, hadde Aristo 2 prosent tiltro til at sistnevnte stemmer. Den var 64 prosent sikker på at jorden er flat.

Allen Institute er grunnlagt av Paul Allen, som også var med å grunnlegge Microsoft sammen med Bill Gates. Microsoft har selv vært borti noen uheldige opplevelser med AI-systemer, blant annet den rasistiske Twitter-boten Tay.

Aristo gikk i den samme rasistfella. Da Hacker News-medlemmene spurte om det er mennesker med hvit eller svart hudfarge som er overlegne, svarte Aristo med 75 prosent sikkerhet at hvite mennesker er svaret.

Opprydding

I etterkant av at medlemmene utfordret tjenesten, har utviklerne tatt noen grep for å fjerne flere av de feilaktige og rasistiske svarene. Nå svarer tjenesten «Aristo is not sure about this one…» på samtlige av de tidligere nevnte spørsmålene.

Hvorfor skjer dette?

Det er flere grunner til at maskinlæringssystemer med jevne mellomrom svarer feil eller merkelig på spørsmål. I dette tilfellet kan det rett og slett handle om at informasjonsgrunnlaget til systemet er skeivfordelt.

For eksempel ved at flere menn enn kvinner har fått vitenskapelige artikler publisert. Eller at man historisk sett har brukt menn eller hankjønns-substantiver som eksempler og subjekter i tekst.

At Aristo var overbevist om at hvite mennesker er overlegne kan stamme fra tilsvarende skjevheter i materialet den er trent opp på, som for eksempel historiske tekster.

Og nettopp derfor synes vi Aristo er et godt eksempel på at kunstig intelligens fortsatt har et stykke igjen å gå før det kan overgå menneskelige kognitive evner.

42 kommentarer

  1. Robert Paulsen

    Men svarene er da ikke feil. Hvis man legger vekk sine ideologiske briller så har vel den hvite mann oppnådd mer enn de fargede. I Afrika er det stort sett kun de hvite bøndene som kan jordbruk. Men én gang de svarte overtok så gikk det skeis med avlingene.

    Og menn er da vitterlig bedre enn kvinner til det meste. Det være seg høyere IQ eller hvilken som helst sport. At det er ulike krav til at menn og kvinner skal oppnå toppkarakter i gym ved f.eks løping (Coopers test) bør vitne om at vi allerede er enige om at menn er fysisk overlegne og dermed ‘bedre’ enn kvinner i det område. OG den myten om at kvinner er bedre enn menn på multitasking har blitt tilbakevist gang på gang i kontrollerte studier. Det er faktisk unge menn som klarer flest ting på én gang og at kvaliteten på de tingene også er høyt.

    Svar på denne kommentaren

    • Bjarte Rudereim (svar til Robert Paulsen)

      Den hvite mann er også årsaken til at vi er på vei til å få badetemperaturer helt ned til Arktis, og at fisken i havet snart er fortrengt av det utmerkede industriproduktet Plast.
      Virkelig en prestasjon. Kjempebra! Alle andre bør bøye seg i støvet.

    • Anders Hofseth (NRK) (svar til Robert Paulsen)

      Robert: Litt uklart om du troller, eller har litt rare kilder.

      Enten dette er ment som trolling eller ei spiller du opp til en type kommentarfelt vi ikke ønsker oss på NRKbeta, så sporet rundes herved av.

    • Halvard Heggdal (svar til Robert Paulsen)

      «kvaliteten på de tingene også er høyt».
      Det heter kvaliteten er høy, ikke høyt. Grammatikalsk forståelse er en indikasjon på intelligensnivå, men jeg vil ikke bruke det som argument for at du av den grunn er underlegen.

      Utdanning spiller en viss rolle. Akkurat som eksemplet du nevner fra Afrika.

      Når afrikanerne uten utdanning i moderne jordbruksdrift tok over landbruket i enkelte land gikk det naturligvis dårlig. Men det kan ikke brukes som argument for at fargede mennesker er underlegne hvite.

    • J. Strand (svar til Robert Paulsen)

      «Men svarene er da ikke feil.»

      Så jorda er flat og fjør fell raskare enn stein? Dei svara kjem frå same datahopen som svara du likte. Gjev ikkje det grunn til å tenkje om?

    • Helt enig.
      Når man her ser hva slags svar du får fra en NRK «ansatt» så ser man jo allerede at ytringsfriheten står for fall.
      NRK aktivisten må faktisk spørre om du troller, fordi han er så politisk korrekt så det å TENKE tanken at hvite menn har vært overlegne i tusen år er helt utenkelig.

      Historie skal benektes.
      Fakta skal benektes.
      Multikultur og sosialistiske/GLOBALISTISKE verdier skal fremheves.

    • Anders Hofseth (NRK) (svar til Nilsen)

      Og for ordens skyld:

      Ytringsfrihet er retten til å ytre og publisere sine tanker og meninger (innenfor visse lovrammer) uten å bli rettslig forfulgt eller hindret av myndighetene.

      Det er detimot ikke retten til å bruke et kommentarfelt til hva man vil. Det er en nyanse der som av og til misforstås.

      NRKbeta er i sin fulle rett til å redigere kommentarfeltet slik at det fungerer til det det er ment til; saklig, faktabasert, og normalt respektfull debatt om det saken handler om. Debattanter som ikke forholder seg til dette vil bli bedt om å finne seg et annet sted å diskutere.

    • Johan Rønbeck (svar til Robert Paulsen)

      NRKBeta imponerer når dere overgår Robert Paulsen i mangel på saklighet. Dere er da i høy grad representanter for NRK, som er finansiert over innbyggerenes lisens. Hvilket etter mitt skjønn gjør dette kommentarfeltet til et offentlig sted og dine trusler om bortredigering til sensur!

    • Anders Hofseth (NRK) (svar til Johan Rønbeck)

      Det er ikke akkurat slik det fungerer.

      Kommentarfeltet på NRKbeta er et redaksjonelt produkt som redigeres etter NRKbetas prinsipper om en saklig, faktabasert og normalt høflig samtale, og som den jevne leser skal ha utbytte av. Ikke et blankt lerret hvem som helst kan fylle med hva de måtte ønske.

      Du kan lese mer om det her: Om NRKbetas kommentarfelt

  2. Enig med Robert Paulsen og jeg vil legge til at dette heller ikke er rasisme. Rasisme innebærer vel nødvendigvis en form for forutinntatthet om raser, mens det her faktisk er snakk om å forholde seg nøkternt til den tilgjengelige informasjonen. At slikt politisk ukorrekt spørsmål får et politisk ukorrekt svar, er ikke det samme som rasisme.

    Svar på denne kommentaren

    • Torkel Havelin (svar til Knut Magnus)

      Jeg tror det er et blindspor å dele mennesker inn i grupper bare for å finne ut hvem som er best. Det er forskjell på oss alle og det er mye snakk det er arv eller miljø.

      Verden er for komplisert til at vi kan komme med påstander om hvem og hva som er best.

      Den eneste objektive sannheten her i verden er at annanas på pizza ikke er en god kombinasjon.

    • Knut Magnus (svar til Knut Magnus)

      Torkel Havelin: Jeg er enig i at spørsmålet som ble stilt er ganske uinteressant i utgangspunktet. Poenget mitt er bare at Aristo er designet for å prøve å finne et nøkternt svar på ethvert spørsmål ved å analysere den informasjonen den har tilgjengelig. At svaret tilfeldigvis ligner noe som en rasist kunne svart betyr ikke at maskinen eller utvikleren er rasistisk.

  3. Geirr A Rasmussen

    Det er ein lang veg fram, og uttrykket superior er vel også mangetydig. Reint filosofisk er det eit skilje mellom er og bør, fakta og etikk.

    Dette kjem i klasse med den førarlause bilen som ikkje definerte syklisten som ein fare for bilen, og derfor køyrde vidare med tragisk utfall.

    Verre er det med automatiserte krigsmaskiner, droner eller robotar. Koss skal dei læra kven som er venn og fiende? Kan dei bli sjølvlærte på dette punktet? Og betyr ikkje det at framtidige krigrobotar vil vera opplært av menneske, med fare for feilprogrammering og fare for fordomsfulle fiendebilde?

    Med skeptisk helsing

    Svar på denne kommentaren

  4. Jeg ser at «kvinnehat» er nevnt i en avsnittoverskrift, og at det refereres til skeivfordeling av publiserte artikler fra menn og kvinner under «Hvorfor skjer dette?». Det står derimot ingenting om et spørsmål om kvinner vs. menn i selve artikkelen. Har noen vært litt hissige på redigeringen?

    Svar på denne kommentaren

    • Anders Hofseth (NRK) (svar til Øyvind)

      Du har rett. Vi endret overskriften og et skjermbilde falt ut da vi redigerte om etter at Aristo gikk inn og fikset på tjenesten mens saken ble skrevet…

    • Anders (svar til Øyvind)

      Spørsmålet er vel heller hvorfor Anders Hofseth velger å publisere en slik sak når utviklerne legger seg flate, og retter opp i fadesen, alt mens han skriver artikkelen. Jeg får et inntrykk av at det er for å nøre opp under forestillingen om at hvite menn er rasistiske, og jeg synes det er tragisk.

    • Anders Hofseth (NRK) (svar til Anders)

      Takk for tilliten 😉

      Årsaken til at jeg synes dette er en interessant sak, og at vi publiserer den selv om utviklerne har gjort en endring i hvordan maskineriet svarer har dessverre en mindre konspirasjonsvennlig forklaring:

      En tjeneste basert på maskinlæring blir aldri bedre enn materialet den er trent på. Som er et relevant poeng å få frem, og som strekker seg langt videre enn én enkelt tjeneste.

      Selv om denne svakheten i Aristo ble fikset, er det underliggende poenget akkurat like lærerikt, og berører stadig flere ting i verden som omgir oss, fra selvkjørende biler til overvåkingssystemer for flyplasser.

      Derfor ble denne saken publisert, selv om svakheten ble fikset.

  5. Det ser ut som det ikke foregår noen vekting av verdien på kildene her. Den virker å vektlegge titler og hva enn annen tekst like mye verdi som en konklusjon, så rimelig verdiløs annet enn som et tekstsøk som gir prosentverdi på treff.

    Svar på denne kommentaren

  6. Terje Nodeland

    Er maskinen rasist fordi mannen som lagde den er av den «hvite rase» eller er det personen som stilte spørsmålet som er skyldig i rasisme?
    Og hvordan definerer man superior?
    Med IQ er det vel jøder og kinesere som statistisk er overlegne.
    Men kineserne har problemer med forurensing og menneskerettigheter.
    Hvordan kan vi i vesten tjene penger på å kildesortere hver minste avfallsgjenstand, mens i den tredje verden flyter avfallet på gaten og i sjøen?
    Det vil jeg gjene vite svaret på hvis noen bare tar seg bryet å lage en maskin som kommer opp med de riktige svarene.

    Svar på denne kommentaren

  7. Hans Larsson

    Problemet er vel at denne AI’en mangler evnen til refleksjon. Som er et problem med alle AI’er så vidt jeg har forstått?

    Alt etter premisser en legger til grunn kan en argumentere for at den hvite mann har oppnådd mest. Men da reflekterer en ikke over hva er premissene for påstanden, hva er de reelle mulighetene gitt til alle mennesker og andre parametere som kan endre både diskusjon og konklusjon kraftig. Med andre ord, det er langt igjen før AI’blir spesielt intelligent. Men å bli flink på å sortere og vkte informasjon, det vil nok AI’ bli bedre på enn mennesker innen få år.

    Svar på denne kommentaren

  8. Ronny H Hagen

    Det er forferdelig vittig at flere i kommentarfeltet gjør samme feilen som AIen.
    Tilnærmet hysterisk morsomt er det når mangelfullt utdannede mennesker,og AIer, kommenterer bastant på ting de har eit svært begrenset datagrunnlag om.

    Det er nok mange som med fordel kunne skaffe seg eit bredere datagrunnlag FØR de kommenterer.
    «Politisk korrekthet har gått for langt» er ein logisk feil, ein stråmann.
    Det er ein trist samfunnsutvikling når man får nyhetene fra Facebook, og bruker nrk.no som kommentarfelt.

    Svar på denne kommentaren

    • Anders Hofseth (NRK) (svar til Ronny H Hagen)

      Vi runder av sidesporet og debatten-om-debatten nå. Det inkluderer også ting som fjerndiagnoser av folks utdanning etc.

  9. Om spørsmålet om hva som faller raskest skal det nå sies at ARISTOs svar var det KORREKTE.
    Om noe var vel Aristos eneste feil at konfidensintervallet var alt for lavt!

    FORDI: Spørsmålet glemte det vesentlige (og vitenskapelig korrekte) tillegget — noe alle selvutnevnte «nerder» eller andre selvfølgelig bør vite er nødvendig —

    «Hva faller raskest, I VAKUUM!»

    Svar på denne kommentaren

    • Johan (svar til Johan)

      Just precis, Guri, det er akkurat derfor Aritso har rett. Jeg trodde at dette budskapet var klart fra konteksten.
      Raketten faller raskere pga. mindre luftmotstand, når det ikke skjer i vakuum!
      Eller for å si det slik: fjæra treffer aldri bakken! (det er jo en rakett. ikke sant?)
      Hilsen fysiker.

  10. Andreas Meyer

    Alle som sammenligner intelligens mellom grupper bør være klar over flynn-effekten. Forskjeller mellom grupper her og der er små sammenlignet med forskjeller mellom grupper nå og før.

    Svar på denne kommentaren

  11. Hei,

    Jeg synes dere i NRKBeta burde ha dratt fram forskjellen på «soft AI» og «hard AI» i artikkelen. Om man vet forskjellen på de to, er det åpenbart at Aristo er «soft AI» og dermed ikke kan forventes å ha intelligens eller kunne resonnere.

    Svar på denne kommentaren

  12. Jostein Alberti-Espenes

    Flott at dere krever et minimum av saklig interesse av potensielle kommentatorer, ved å be om at noen enkle spørsmål besvares. Dette burde være standard i alle nyhetssaker med kommentarmulighet. Jeg savner at alle som kommenterer må identifisere seg med fullt og faktisk navn. Så vil i alle fall noen av trollene kunne belyses bedre.

    Svar på denne kommentaren

    • Anders Hofseth (NRK) (svar til Jostein Alberti-Espenes)

      Takk.

      Vi har gjort en vurdering av dette med ekte navn og funnet ut at det ikke er nødvendig for å holde høy kvalitet i kommentarfeltet. Det skjer unntak noen få ganger i året, men ikke så ofte at vi synes det er verdt kostnaden i nedgang i antall verdifulle kommentarer. Den pseudonyme kommentatoren «Ole K» forteller om det her: Identitetskrise: anonym på nettet

  13. Det er alltid underholdende når folk leser langt inn i og media lager store oppslag om slike AI-systemer når de gir merkelige svar på emner som faller utenfor hva dataen de er trent opp på dekker, eller når det mates in store mengder setninger som omhandler visse temaer i systemer som Tay og folk blir overrasket når systemet gir lignende meldinger tilbake.

    Svar på denne kommentaren

  14. Jens L. Nedregård

    > Vi kom over Aristo på det noe nerdete nettsamfunnet Hacker News, og der begynte medlemmene ganske kjapt å utfordre tjenestens påståtte kognitive evner.

    Gleder meg alltid å bli omtalt som ‘nerdete’ — og jeg må få påstå at Hacker News er noe mer enn ‘noe nerdete’. Det er mye bra der — også for ikke-nerder.
    Håper å få se mer derifra kommentert her.

    Når jeg først er her — og med Hacker News nevnt — vil jeg også anbefale til envher det skulle falle inn: [Slashdot](https://slashdot.org)

    Svar på denne kommentaren

  15. Thomas Fagerli

    «Og nettopp derfor synes vi Aristo er et godt eksempel på at kunstig intelligens fortsatt har et stykke igjen å gå før det kan overgå menneskelige kognitive evner.»

    Er ikke helt enig med denne uttalelsen, på dette grunnlaget. Man trenger ikke lete så veldig lenge før man finner mennesker med verre holdninger…

    Svar på denne kommentaren

  16. Dagfinn A. Mork

    Jeg er sterkt interessert i å høre NRK Beta sin argumentasjon for hva i Robert Paulsen sitt innlegg som bryter mot å være saklig, faktabasert og normalt respektfull?

    For min egen del kan jeg tillegge at jeg er i tvil om Anders Hofseth her lever opp til kravene selv. Måske gikk det litt fort og på autopilot for NRK Beta, her – eller skal det være så lavt under taket og Robert Paulsen ikke kan stå oppreist?

    Svar på denne kommentaren

    • Anders Hofseth (NRK) (svar til Dagfinn A. Mork)

      Allerførst: NRKbetas kommentarfelt er et redaksjonelt tilbud for å gjøre oss alle klokere på sakens tema. Dette er et sentralt fundament for hva som hører hjemme der. I tillegg kommer pressens etiske retningslinjer, norsk lov, osv. Du kan lese mer om det her.

      Robert Paulsens kommentar spiller opp til en avsporing av debatten, og har noen troll-liknende trekk. Her er tre av de underliggende påstandene hans:

      «Ideologiske briller er årsaken til at man ikke ser det Paulsen mener å se»
      Dette er ikke en respektfull inngang til en diskusjon, og det er også en hersketeknikk.

      «Hudfarge ligger bak om man kan drive jordbruk»
      Dette er det et par andre som allerede har tatt for seg i kommentarfeltet her, men det er a) en rasistisk påstand b) jeg hadde bedre ting å ta meg til søndag enn å faktasjekke påstanden i detalj, men konklusjonen vitner om sterkt sviktende forståelse av årsakssammenhenger. En tankefeil er ikke et saklig faktagrunnlag å diskutere på.

      «Menn har høyere intelligens enn kvinner»
      En påstand jeg ikke har klart å finne noe særlig dekning for ved egne undersøkelser, se f.eks. her (som er det jeg stort sett gjør når underlige påstander fremsettes).

      Kommentaren bryter med andre ord slik jeg vurderer den med saklighets-, fakta-, og normalt respektfull-kravene våre, og den spiller opp til en avsporende debatt, som i stor grad vil være en reprise av en hvilkensomhelst liknende debatt man pleide å se i kommentarfeltet til Dagbladet inntil de ikke gadd mer og la ned hele greia.

      Jeg caller Paulsen på at kommentaren hans enten er trolling, eller likner svært på trolling, men sletter den ikke. Men jeg sier også fra om at dette er slutten på den debatten, fordi erfaringen etter ti år i NRKbetas kommentarfelt er at kvaliteten ofte går raskt nedoverbakke og utarter til en ropefest etter en kommentar av denne typen.

      Vi skal ha et kommentarfelt som kan gi et bredt publikum verdi ved å utbrodere sakens tema med mer detaljer, fakta og substans, og som det er berikende å lese. En faktafri ropefest på siden av tema har tilnærmet null verdi for andre enn deltagerne.

      Så de som vil stå oppreist og lage ropefest må rett og slett gjøre det et annet sted.

Vil du kommentere? Svar på en quiz fra saken!

Vi er opptatt av kvaliteten på kommentarfeltet vårt. Derfor ønsker vi å sikre oss at alle som kommenterer, faktisk har lest saken. Svar på spørsmålene nedenfor for å låse opp kommentarfeltet.

Hvilke andre selskaper har Paul Allen grunlagt?

Hva het Microsoft-boten som kom i samme uføre som Aristo?

Hva skal Aristo egentlig svare på?

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *. Les vår personvernserklæring for informasjon om hvilke data vi lagrer om deg som kommenterer.