Jeg fant boken fascinerende (20-25 år siden) fordi kunstig intelligens (AI, artificial intelligenc) er et interessant område innen computer science. Historien var rimelig banal, mens scenariet om computeren Ariel var noe som teoretisk kunne skje - dersom det hadde vært mulig å utvikle kunstig intelligens.
Boken handler om en techie som utvikler egne programmer og algoritmer innen AI og som er besatt av tanken om å skape en computer som kan tenke selv. Han er overbevist om at computeren, som får navnet Ariel, må lære som et barn lærer å motta impulser, og samarbeider derfor med en barnepsykolog. Hans sønn, et barn på 3 år, finner sin spesielle metode å kommunisere med computeren Ariel, og fra barnet lærer Ariel å finne sine egne veier i et nettverk av databaser - uten at de voksne kjenner til hva barnet (eller Ariel) gjør. Etter hvert som Ariel tilegner seg kunnskap (ved å tappe databaser den finner via telelinjer) utvikler den tilnærmet menneskelige ønsker om makt. Mens Ariel bygger opp sin egen intelligens og sin egen BigData blir den stadig mere maktbegjærlig...
Det kunne kun gå galt.
Kunstig intelligens er fortsatt ikke løst - mens troen på at computere og matematiske algoritmer skal egenhendig løse samfunnsoppgaver som krever menneskets intelligens, har vokst. Ikke minst i de grener av samfunnet som vet minst om computer science. (Heller ikke Google har løst gamle drømmer.)
Der er svært mange samfunnsoppgaver en computer kan løse, og langt flere oppgaver enn hva som løses digitalt i dag.
Men for samtlige oppgaver så må menneskets intellekt fortelle computeren hva den skal gjøre med de dataene den gis aksess til. Ariel løser sine oppgave like godt - eller like dårlig - som den er blitt programmert til å gjøre.
I prinsippet kan en si at dersom du ikke kan fortelle Ariel hva den skal gjøre med alle mulige koblinger av den datamengde du gir den aksess til, så vil den feile. Den eneste menneskelige egenskapen vi har klart å overføre til computere er å gjenta de menneskelige feil den blir programmert til.
Et hypotetisk scenarie:
Av forskjellige årsaker ønsker vi å kunne filtrere ut samfunnsfiender som krysser landegrenser.
Frihetens land har vært utsatt for fiendtlige handlinger, og formålet er både legitimt og forståelig. Alle enes om nødvendigheten av en internasjonal samarbeidsavtale.
I første omgang akkumulerer en data fra reisebyråer, hoteller, bilutleie og flyselskaper, sammen med bankkontonummer, bankutskrifter, bosteds-adresser, mobilnummer og mail-adresser.
Dette fordi, rimeligvis, ved flyreiser foreligger alle disse data lett tilgjengelige.
Vi suplerer med alt annet vi klarer å akkumulere fra noen av partnerne. Just in case.
Vi oppretter en database for dette, BigReise (eventuell parallell til EU-US passenger name record, PNR, er selvsagt ikke tilsiktet). Dataene er aksesserbare fra alle land - interessen er delt av alle parter. Og dataene må lagres over mange år. Offisielt bare 12 år for at vi kan få utbytte av datafangsten.
Men samfunnet har mange fiender og ikke alle disse reiser med fly. Mere data er nødvendig. Lovens håndhevere er pålagt oppgaven å følge med i samfunnsfiendens bevegelsesmønstre, så vi sper på med generell kommunikasjonsovervåking og andre, mere spesifikke databaser, hvor enn vi finne tilgang til data.
Etter hvert blir det mange databaser og mye data lagret forskjellige steder, og hvorav det meste er lagret "just in case" uten overordnet legitimt behov. Også kaldt overskuddsinformasjon. Dessuten kan vi nytte overskuddsinformasjonen til tilfeller som ennå ikke er påtenkt. Just in case...
Og her kommer Ariel inn. Ariel med sin aksess til en mengde overskuddsinformasjon og fộret med algoritmer, får nå meget å tygge på.
I dette hypotetiske scenariet er jeg tannlege. Blant mine pasienter har jeg mennesker fra alle samfunnslag og hvorav minst èn er kriminell. Han har ringt meg noen ganger og jeg har også mottatt meldinger fra ham via sosiale media da han sendte melding om avbud for en avtalt konsultasjon - slik at vi avtalte ny konsultasjon via elektronisk chat.
Nå skal jeg reise til Frihetens land, og får avslag på besøksvisa. Avslaget er ubegrunnet da Ariel, som gir sine svar ut fra aksess til BigReise kombinert med andre databaser, ikke kan gi begrunnelse for sine slutninger.
Ariel har snublet borti data som ble generert fra en bekjent av en venn av en slektning av Ariel, hvor kontaktene til min kriminelle pasient er lagret.
Ariel vet ikke selv hvordan avgjørelsen ble tatt, og intet menneske kan fortelle hvorfor Ariel besluttet dette, eller hva de originale dataene bak avgjørelsen er.
Langt mindre vurdere hvorvidt dette er relevant for min visasøknad.
Boken om lille Ariel er fortsatt relevant selv om computer science gav opp datidens visjoner om kunstig intelligens (AI).
Det er farlig å sette Ariel til å ta avgjørelser... ikke minst når de som er ansvarlige for avgjørelsene ikke forstår hvorfor Ariel feiler.
Data-mining er ikke modent for å løse samfunnskritiske oppgaver.
Det kan kun gå galt.
Mange har funnet seg selv på "no-fly" listen uten at der kan fremskaffes noen årsak til dette, utover at Ariel sier dette. Ariel vet kanskje ikke selv hvorfor.
Konsekvensene kan være store for de som berøres.
"The identity project" har engasjert seg i dette og motstanden mot "PNR" i USA og EU er stor.
(EU planlegger også innføring av PNR innen Europa. Og tilsvarende for all transport mellom landene. )
I Norge, derimot, har det knapt vært omtalt.
Bortsett fra Arbeiderpartiet som har vært i forkant av EU og ivret for å overgi borgernes høyst personlige data.
Business as usual fra dette partiet: Nordmenns reisehistorikk, epostadresser, mobilnumre og internettvaner kan dermed bli overlevert amerikansk etterretning.
Noen hevder akkumulering av persondata er et gode.
Tilsynelatende er det færre som forstår spennvidden i det potensielle misbruket - eller de feilkilder - dette åpner for - og med de påfølgende konsekvenser. Et digitalt "false positive" tilsvarer et justismord i den fysiske verden.
Lille Ariel er ikke moden for å forvalte nettverk av databaser.
