nrk.no

Velkommen til en verden styrt av algoritmer og ansvarsfraskrivelser

Kategori: Kommentar

Datamaskiner lar seg ikke påvirke av følelser. Eller gjør de det? Foto: Alexander Sinn fra Unsplash

Kommentar: Flere elever ved studieprogrammet International Baccalaureate (IB) fikk i år vesentlig lavere karakterer enn forventet. Resultatene ble bestemt av en bedømmingsmodell i en datamaskin. Det viste seg problematisk. Makinene tar viktigere og viktigere valg for oss. Snart handler dette om oss alle.

Etter at elevene klagde og blant annet fikk advokathjelp ble modellen endret. IBs sentrale organisasjon IBO vil ikke avsløre nøyaktig hvordan systemet fungerer, men opplyser at det blant annet baserer seg på elevenes større skriftlige arbeid, forventninger fra lærerne og historiske resultater fra skolen.

Etter nærmere gransking kan det vise seg at løsningen kanskje er ulovlig. I Storbritannia opplevde de en tilsvarende situasjon i år da svært mange avgangselever fikk dårligere karakterer enn forventet. Der endte de med å gå helt vekk fra de beregnede karakterene og brukte karakterer satt av lærerne i stedet.

Likevel er nok dette noe vi bare kommer til å se mer av.

Ofte kalles komplekse datamodeller for algoritmer. Og det blir bare vanskeligere og vanskeligere å gjøre rede for hvordan de fungerer.

Det sosiale mediet du bruker hver dag? Styres av algoritmer. Søkeresultatene på nett? Styres av algoritmer. Avslag på lånesøknad? Ble styrt av en algoritme. Det kan være mange grunner til å ikke oppgi nøyaktig hvordan de virker. Konkurransehensyn og datasikkerhet er to av dem.

En gruppe elever ved IB-linjen har gjennom advokat Jon Wessel-Aas bedt Kunnskapsdepartementet åpne for at studenter kan vurderes individuelt. Foto: Gorm Kallestad / NTB scanpix

Ansvarsfraskrivelse

Det som er viktig er at bruken av komplekse datamodeller ikke bare blir en ansvarsfraskrivelse. På en måte er det fascinerende at definisjonen av en algoritme nærmest er en nøyaktig beskrivelse av noe som det burde være enkelt å forklare:

«En algoritme er innen matematikk og informatikk en presis beskrivelse av en endelig serie operasjoner som skal utføres for å løse et problem eller flere problemer.»

Likevel får jeg noen ganger følelsen av at definisjonen er:

«Et skikkelig komplekst datasystem som ingen har oversikt over og som derfor er helt umulig å forklare.»

Retten til en forklaring” er diskusjonen rundt akkurat dette. En diskusjon som fikk fart da den sinte storebroren til algoritmen dukket opp. Nemlig maskinlæring og kunstig intelligens.

Forvirret og skremt

Om vi løfter blikket og ser litt inn i fremtiden kommer vi til det som gjør folk både fascinert og skremt når jeg underviser og holder foredrag om kunstig intelligens. Det er det tidspunktet der datamaskinen blir smartere enn oss mennesker. Det tidspunkt som også kalles teknologisk singularitet.

Da kommer den smarte datamaskinen til å lage en ny datamaskin som er enda smartere. Som så kommer til å lage en som er enda smartere enn det igjen.

Robotene kommer som datasystemer lenge før de er her som mekaniske og menneskelignende innretninger.
Foto: Franck V. fra Unsplash

Fremtiden er her allerede

En av teoriene rundt teknologisk singularitet er at vi da innen kort tid kommer vi til å ha en datamaskin som ser på menneskets intellektuelle kapasitet slik vi ser på evnene til en middels smart grevling i dag. Den datamaskinen vet at vi ikke skjønner bæret av hva den holder på med.

På det tidspunktet er det viktig at vi har rigget oss riktig med både regler og etisk programmering av maskinene.

Det var ikke superintelligente fremtidsdatamaskiner som satte karakterer nå, men diskusjonen om hvem som har ansvaret må vi ta allerede. Er det dem som laget algoritmen? Vi har allerede algoritmer som lager nye algoritmer. Når blir det umulig å spore ansvaret tilbake?

Det som også er skummelt er at helt siden kalkulatoren ble oppfunnet har datamaskiner gitt inntrykk av å gi objektive beslutninger. Fordi vi i stor grad har brukt dem til matematiske beregninger der maskinen kan sette to streker under svaret.

Ikke nødvendigvis objektiv

Nå bruker vi dem til så mye mer. Og avgjørelsene er så uendelig mye mer komplekse enn at to pluss to blir fire.

Vi er på vakt når mennesker tar avgjørelser. Har læreren latt seg påvirke av elevens sjarm og ikke kun sett på resultatene? Har bedriftslederen latt seg påvirke av kandidatenes hudfarge og ikke kun sett på kvalifikasjoner?

Vi må lære oss å bli like kritiske til maskinene. Og da må vi få vite hvordan de tar avgjørelser. “Retten til en forklaring” kommer til å bli en meget viktig del av personvernet fremover.

Datamaskiner er allerede overlegne når det gjelder å gjøre komplekse og avanserte beregninger fort. Men da må vi ha bedre modeller enn det IB-studentene og avgangselevene i Storbritannia ble utsatt for nå.

13 kommentarer

  1. Kunstige intelligenser er de nye byråkratene og etterhvert makthaverne.
    Menneskene vil bli redusert til barnehagebarn.
    Man lar ikke barnehagebarna styre samfunnet.
    Løpet er allerede kjørt.

    Svar på denne kommentaren

  2. Walther Neuhaus

    Vi lever fortsatt i et land det det er lov å bruke hue. Langt mer kritisk er det i land preget av hierarkier i arbeidslivet og lavt utdanningsnivå i den utøvende klassen. Uansett om en beslutning er tatt av en ganske ordinær eller en «smart» algoritme, vil den som forsøker å få den begrunnet eller revurdert, møte en mur av gidder ikke, klarer ikke og har ikke autorisasjon. Det ligger en stor kilde til makt i at mange ikke evner å krangle med en datamaskin.

    Svar på denne kommentaren

    • Tor Guttorm Syvertsen (svar til Walther Neuhaus)

      «The paradox is that at the same time we’ve developed machines that behave more and more like humans, we’ve developed educational systems that push children to think like computers and behave like robots.»
      —Joichi Ito

  3. i England prøvde dei, med ein algoritme, å finne ein sannsynleg karakter basert på tilgjengelig data. Blant anna karaktersnittet på skulen du gjekk på. Som statistisk øvelse høyrest det OK ut. Men gjekk du på ein «dårleg» skule, typisk i fattige strøk, fekk du altså trekk i karakteren. Og hadde du rike foreldre som sendte deg til ein skule som pleide å ha høg snittkarakter, vart karakteren din satt høgare. Flinke elevar frå ringe kår vart dermed jekka ned av algoritmen. Dette er eit fellestrekk for mange algoritmer, enten dei er enkle formlar, eller «superavansert» AI: Dei forsterkar skeivheitene som allereie er i datamaterialet.

    Vi har eksempel på automatisert jobbsøker-siling som filtrerer ut kvinner fordi den er trent på silingen til sjefer som gjorde nettopp det. Algoritmer som peiker ut personar med typisk afro-amerikanske navn som mogleg kriminelle fordi svarte er overrepresentert i amerikanske fengsel.

    Ein treng ikkje å forstå algoritmen i detalj, for det er innholdet i dataene algoritmen lærer frå som er avgjerande. Det og den manglande forståelsen for konsekvensane av å bruke algoritmene.

    Dette liker ikkje dei som selger AI å snakke om, for det betyr at produkta deira ikkje virker så bra og heller ikkje blir betre med ein endå meir superavansert algoritme, som er det dei skal selge deg neste år. Istadenfor pensar dei samtalen inn på farene ved «singulariteten», som eigentleg er ein fordekt måte å skryte av sin eigen industri.

    Svar på denne kommentaren

  4. Jens Otto Skåra Hansen

    Takk til Erik Solheim og NRK Beta for å ta jobben med å forenkle og belyse på en forståelig måte hva algoritmer og kunstig intelligens kan innebære.
    Hva kan skje dersom utviklingen går i retning at toppen på Gauss-kurven blir rettesnoren.
    Som hos Google og Facebook.
    The winners take it all.

    Svar på denne kommentaren

  5. Kim Edwin Jektvik

    Ble steng ute av Facebook i dag som følge av slike smarte/dumme algoritmer som ikke ser forskjell på hatprat og ironi. 7 dagers karantene + sensur av en egentlig helt innafor ytring. Det er til å bli forbanna over, men det er jo ikke mulig å klage på avgjørelsen.

    Svar på denne kommentaren

  6. Algoritmer er laget av mennesker. Mennesker som lager et system uten empati og evne til å spørre hvorfor. Det gås ut fra at om man søker på bestemte ord er man mer tilbøyelig til å være avviker. Det fører til at f.eks. Om man søker på informasjon om behandling av enkelte lidelser eller på bestemte preparater og interaksjoner, bestemmer en datamaskin at søker er gal. Søker man på bestemte tankesmier går maskinen ut fra at man er ekstremist. Når man bare vil ha informasjon. Systemet tar aldri høyde for at å søke på et tema eller klikke på en link hverken gjør deg til medlem ellet til avviker. Man ønsker bare informasjon som i dag er tilgjengelig på godt og vondt. Om helse. Om evt nye behandlingsmuligheter. Om hvorvidt hjelp fins for ditt og datt. Om politikk. Om lovgivning. Videre: alle musikkvalg registreres og så bestemmer algoritmer (fortsatt laget av mennesker) utifra det om man er vestre eller høyreradikal, rusavhengig eller avholdsmenneske. Folk tenker ikke når de gjør alt om til tall. Hvis du hører på heavy metal eller Black sabbat og the Beatles så betyr det ikke at du er et dophue. Klikker du på det mosaiske trodssamfunn er du ikke nødvendigvis jøde, klikker du på malcolm x 20 ganger er du ikke nødvendigvis muslim, klikker du på har betyr det ikke at du er en som støtter det de står for, det gjelder også om du søker på misjonssambandets, moskeenes elllet humanetisk forbunds hjemmesider. Et søk forteller bare at du vil vite hva noe er og orientere deg om det selv, ikke at du er en tilhenger av noe som helst. Dette tar algoritme- og apputviklere ikke høyde for, heller ikke ser de det problematiske ved å la en robot tilfeldig plukke ut en karakter til elever, uavhengig av helseforutsetninger. Avgjørelser som vedrører menneskers skjebne eller muligheter for å lykkes bør tas av mennesker og kunne påankes. Sannheten om algoritmer er at de er laget av mennesker. Som statistikk. Og begge deler er tall som føres helt uten empati og uten hensyn til andre faktorer enn økonomi og statistikk. Ingen statistikker måler hvordan folk blir rent fysisk møtt, eller hvordan omgivelsene reagerer på hverandre. Og det er faktisk ikke sant at ditt musikkvalg og din klesstil viser hvor du står politisk og hvordan du forholder deg til rus. Heller ikke er det sant at en robot alltid vil kunne ta riktige og rettferdige avgjørelser fordi roboten ikke er bedre enn de data den mates med. Det er som med mennesker: blir vi fortalt at noen er rn trussel mer enn en gang er mange villige til å tro det selv om ikke det er sant. Antisemittisme, kvinnehat, muslimhat, homohat er alle varianter av dette, samt stempling av folk som står alene, og forakt for og trusselstempling av fattige. De fattige er ikke problemet, fattigdommen er det. Jøder, muslimer, kvinner, homofile etc er ikke problemet, hatet er det. Vi lever i en verden som har stor tro på å la maten vi selv ikke kan dyrke komme til oss fra deler av verden som kunne trengt mer av den til seg selv. Vi snakker om flere jobber og integrasjon av nye landsmenn mens Næringer vi ikke tar oss råd til å drive, outsorces til land med lave lønnsutgifter så vi slipper å lønne folk i Norge, både gamle og nye landsmenn, og lager automatiske kasser i butikkene sånn at enda færre i den oppvoksende slekt kan få arbeid og folk som har rømt hit fra krig og sult får enda færre sjanser enn før. Så påstår vi i tillegg at verden blir bedre om den blir styrt av roboter. DET stemmer ikke. Teknologi som overflødiggjør menneskelig samhandling bidrar kun til kassa til store bedrifter. Den fører hverken til flere jobber eller flere muligheter. Og for den tredje verden vil en overgang til denne formen for tenking bli en katastrofe. Der vil den kunne gi mer fattigdom som kommer ovenpå klimakrisen. Produksjonen av alle maskinene og metallene til robothuene våre er viktigste grunnen til forsøpling med ikke nedbrytbart avfall, ødeleggelse av økosystemer og nedhogging av skog. Det og den evige jakten på profitt. Ikke en eneste algoritme kan løse noe av det, mennesker kan. Det kan de gjøre ved å høre på hverandre og tenke seg om. Lage en human plan som fungerer. For ingen algoritmer forteller hvorfor du vil vite noe om det du klikker på, hvordan du selv er blitt behandlet, hva dine drømmer er. Algoritmer er like verdiløse som alle påstandene im st fattigdom fører til kriminalitet i seg selv – til tross for alle med dårlig økonomi som ikke er det. Eller at dårlig økonomi gjør menneskene dårlige som lider under den, enda det faktisk er hvordan folk møtes i og utenfor egne referansegrupper som avgir reaksjoner, ikke økonomi og nød i seg selv. Vi har alle et ansvar i dette, og alle gjør feil i livet. Men den største feilen nå er troen på at algoritmer forteller hvem hvert individ er utifra kjølevaner og søkehistorikk. Det kan bli like skjebnesvangert for samfunnet som troen på raseeugenikk og frenologi var i forrige århundre og på bakgrunn av måten beregningene gjøres er de like feilaktige, villedende, menneskefiendtlige og bevisst manipulerende. Til liks med predictive policing son ødelegger for folket i Chicago og annet sånt. Mennesker må møtes der de er, som dem de er. Ikke ut i fra algoritmiske fremtidsspådommer. En algoritme er, når den tas for sannhet, like blottet for empati og endringspotensiale som all annen sosialdarwinistisk, matematisk og paleontologisk teori og kvasi-teori.

    Svar på denne kommentaren

  7. Takk for en interessant artikkel hvor du tar opp to interessante spørsmål, hvem har ansvaret, og at vi trenger lover og regler på dette området.

    Jeg vil se på ansvarsfraskrivelse først.
    Jeg mener at den, eller de, som tar teknikken i bruk bør være ansvarlig for feil som måtte følge av dette. Ikke produsenten eller utvikleren.
    I eksempelet med karakterer mener jeg at skolene bør stilles til ansvar, da de valgte å ta systemet i bruk.

    I fremtiden hvor algoritmer kan lage nye algoritmer, vil det være tull å stille den forrige algoritmen til ansvar.

    Så over til regler og retten til en forklaring.
    De lover som vedtas må være enkle og firkantede, og ikke være koblet til dagens teknikk. Da vil de være utdatert om et år.
    Det står i loven at hvis du begår et drap, dømmes du til fengsel. Det står ingen ting om drapsvåpen. Dermed er loven like relevant selv om det finnes opp nye våpen.
    Det må også gjøres med lover og regler om algoritmer. Den må beskrive hva vi mennesker har krav på og hva vi skal kunne gjøre. Uten å beskrive noen teknikk eller algoritmer. Dermed vil loven forbli relevant selv om den tekniske utviklingen går videre.

    Svar på denne kommentaren

  8. Alf P. Steinbach

    «Likevel får jeg noen ganger følelsen av at definisjonen er:»

    Det skyldes at en alternativ og svært mye mer diffus betydning er i ferd med å feste seg i språket.

    Da må man skille mellom hva programmerere mener med algoritme, og hva Folk Flest mener.

    Svar på denne kommentaren

  9. Vil anbefale å lese boken «weapons of math destruction» av Cathy O’Neil. Den tar for seg akkurat denne problemstillingen, og viser til flere eksempler fra USA som er rimelig hårreisende og et stort varsku for hvor galt det kan gå.

    Svar på denne kommentaren

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *. Les vår personvernserklæring for informasjon om hvilke data vi lagrer om deg som kommenterer.