Autonome dræbermaskiner og onde datafyrster

I Arizona kørte en Uber-bil en kvinde ned med døden til følge. Der var en chaufør i bilen, men den var sat på autonomt program og kørte selv. På den anden side af Atlanten kom det frem, at dataanalysefirmaet Cambridge Analytica har høstet og anvendt millioner af informationer fra Facebook og sammen med andre lyssky metoder anvendt dem skruppelløst i deres rådgivning.

Begge sager, der blot er toppen af teknologi-/dataisbjerget, er blevet analyseret grundigt andre steder ud fra fx rene filosofiske eller marketingmæssige perspektiver. Men på et mere principielt niveau giver sagerne også anledning til at skitsere en forretningsmoral, der skal væves ind i de initiativer, som ledelser tager i disse år for at komme på forkant med mulighederne og udfordringerne i den radikalt digitaliserede transformation.

Den autonome teknologi afføder nye moralske dilemmaer, som vi bør forholde os til med moralen forrest. Getty Images.

Bogen "Langt fra Silicon Valley" beskriver dybere forholdet mellem data, teknologi, forretning og etik. Kan købes hos Djøf forlag

Forretning + moral = værdi

Der er jo intet forkert i autonom teknologi eller datahøst og -anvendelse, hvilket kan give eminente forretningsmuligheder og kundevendte services. Men der er moralske dilemmaer, der skal afvejes nøje. Og ligesom det har været for let at ignorere moralske spørgsmål i det wild west tech-/dataland, vi p.t. lever i, er det også for let blot at kaste om sig med filosofiske principper, løsrevet fra forretning.

Loven og gode skikke har en tendens til at halte bagefter udviklingen. Derfor skal moralen af princip altid stå forrest. Der er altid brug for en moralsk refleksiv tænkning og adfærd, der ikke skaber forskelle og afkobler forretning fra menneskelighed, økonomisk værdi fra social værdi, teknologiudvikling og dataudnyttelse fra borgerrettigheder.

Vejen frem i den digitale økonomi er dermed ikke enten/eller teknologi og sofistikeret dataanalyse, men et moralsk digitalt mindset, der kritisk afvejer og bedømmer de dilemmaer, der uundgåeligt følger med den digitale udvikling.

#REKLAMEPLADS#

Disruptet by data & technology

Innovationen og markedsmekanismerne presser virksomhederne fremad i et kapløb om at anvende de nyeste metoder for at skaffe kunder i butikken. Tidens budskab lyder, at hvis ikke virksomhederne disrupter sig selv med ny teknologi og dataanvendelse, så gør konkurrenterne det. I dette kapløb har moral ikke fyldt meget. Det har simpelthen ikke været en vigtig nok konkurrencefordel.

Disruption var i 2017 det gyldne ord for politikere og virksomhedsledere.

Teknologietikken har sine egne arketypiske diskussioner, som de fx findes hos Det Etiske Råd omkring sammensmeltning af krop og maskine. Det relaterer sig mest til en bioetik, som jeg ikke vil gå i dybden med her.

Data-etikken har også sine egne diskussioner, fx som den for tiden kommer til udtryk gennem diskussioner af persondatabeskyttelsesloven. Det er relevant med konkrete diskussioner af specifikke områder. Men i første omgang er det vigtigt, at en praksis for moralsk refleksion bliver en del af moderne digital forretning. Lad os kigge på hvordan det mindset kan etableres filosofisk.

Det filosofiske grundlag for et moralsk digitalt mindset

Mit formål er ikke at diskutere forskellige etiske systemer imod hinanden, men derimod at gå et skridt baglæns og pointere nødvendigheden af strategisk og operationelt at indarbejde moralsk stillingtagen i alle overvejelser og beslutninger. Skitsen til et moralsk digitalt mindset kan måske basere sig på arven fra tre af vores store ”teknologifilosoffer”, der alle operationaliserer den enkeltes ansvar: Aristoteles, Heidegger og Arendt.

Aristoteles og det moralske kompas

Aristoteles beskrev, hvordan naturen (physis) og det skabte (techne) er radikalt forskellige, fordi naturen har et indre princip, der sikrer bevægelse, udvikling og afslutning (fx et menneskeliv), hvorimod et teknologisk produkt er styret af et ydre princip, der giver det retning og mål.

Men Aristoteles kunne ikke forudsige, hvordan kunstig intelligens og maskinlæring, der udnyttes i hardware-/software-robotteknologi og i dataanalyser, begynder at få sit eget indre princip, som vi ikke altid kan gennemskue og styre godt nok. Aristoteles præsenterede en dydsetik; at vi bør handle efter den gode gamle kloge mands forbillede. Han mente, vi har en disposition – et slags moralske kompas – til at træffe moralske valg (hexis).

Pointen er, at det er den enkelte, der skal opøve denne disposition eller tilbøjelighed til at handle moralsk rigtigt. Men når teknologien transformerer verden på under en generation, er den gamle mand ikke et orakel. Udfordringen ved den aristoteliske dydsetik opstår, når vi spørger, om vi fx kan opfatte en computer som en moralsk agent, der kan trænes; kan en algoritme trænes til at opøve en god hexis, dvs. træffe moralsk rigtige valg i situationen?

Computeren kan sandsynlighedsberegne ud fra et logisk princip, men det moralske ansvar bør vel ligge hos mennesket; hos medarbejderen og lederen og manden på gaden?

Heidegger og det menneskelige

Det tror jeg også, Heidegger ville være enig i. I sit værk om teknologi søgte han efter svar på teknologiens egentlige essentielle væren. Heidegger når, med aristotelisk logik, frem til, at teknologi i sin essens blot er et middel for menneskelige mål, mens han samtidig introducerer det fantastiske begreb om bestand – der dog fungerer bedre i den engelske oversættelse standing-reserve. Med teknologiens indmarch kommer mennesket til at stå reserve. Den computerdrevne automatisering danner dystopiske billeder om mennesket (dasein) som instrumentel ressource.

Fænomenologen Martin Heidegger (1889-1976).

”Robotterne kommer og tager arbejdet”, er et udsagn fra dagens medier, der vækker genklang, og som formentlig både rummer overdrivelse og sandhed på samme tid, og som alt efter teknologisk stillingtagen er en befrielse eller katastrofe. Det afgørende i det perspektiv nu og i fremtiden bliver designet af de optimale, moralske interaktioner mellem mennesker og maskiner, der sikrer, at ingen mennesker blot bliver instrumenter i ”reserven”, men sikrer menneskeligheden i produkter og services.

I den forstand har alle ledere vel også et moralsk kald til at søge efter de menneskelige muligheder; til at se medarbejderes ”potentialer” og ikke ureflekteret automatisere og gøre alt til teknologi?

Arendt og den moralske dømmekraft

Det moralske ansvar fra Aristoteles og den kritiske stillingtagen fra Heidegger samles eminent hos Hannah Arendt. Arendts studier af blandt andet Adolf Eichmanns retssag (han var ansvarlig for logistikken i de nazistiske jødedeportationer) førte hende til en teori om, at mennesker har en tendens til at fralægge sig moralsk ansvar og stillingtagen til systemer, hvilket hun beskrev som ondskabens banalitet.

Det forkerte er sjældent intentionelt ondt, men banalt, dumt og først og fremmest udtryk for ignorance, manglende refleksion og personlig stillingtagen. Ondskabens banalitet opstår med massesamfundet, bureaukratiseringen og anonymiteten, der følger med det moderne, og den kan accelerere i ekstrem grad, når teknologiske systemer og databehandlingssystemer varetager handlinger og beslutninger. Den fare ligger snublende nær i det radikalt digitaliserede samfund.

Filosoffen Hannah Arendt (1906-1975).

Skitsen til en forretningsmoral

Når en virksomhed skal få en forretning til at løbe rundt, og hvor mulighederne med teknologi og dataanalyse er grænseløse, er det helt centralt med et moralsk digitalt mindset i alle handlinger for at undgå, at markedsøkonomisk rationalitet er det eneste kompas.

Det er klart, at det moralsk afstumpede menneske vil ignorere moral. Her er loven et beskyttelsesværn. Men i det wild west tech-/dataland, vi lever i, hvor loven notorisk halter bagefter – og i øvrigt mangler internationale standarder, er det problematisk, hvis det moralske ansvar placeres i abstrakte systemer og underordnes markedsøkonomien.

Skitsen til en forretningsmoral kan derfor bygge på en konstant, processuel opøvelse af det moralske kompas (Aristoteles), en grundlæggende respekt for det menneskelige (Heidegger) og en skærpet sans, dømmekraft og refleksion over det, man er en del af (Arendt).

Det kan koges ned til nogle enkelte spørgsmål, enhver leder og medarbejder må gå i dialog om som en indlejret del af snakken i innovation-hubs/-labs, SPRINT-sessions, ledelsesmøder, design- og kreative forløb:

Hvilken teknologisk og datadrevet udvikling er jeg/vi en del af og reelt implicit eller eksplicit medvirkende til?
Kan jeg moralsk forsvare min/vores rolle i denne udvikling til enhver tid og over for alle?
Kan jeg/vi moralsk set stå inde for de konsekvenser, vores teknologi og dataanvendelse har på mennesker?

Det er selvfølgelig universelle spørgsmål, men de får en særlig betydning i den digitale transformation, hvor teknologi og data forstærker behov for at træffe moralske valg i et ukendt farvand. Og det er slående, at de nye innovationsmetoder som Design Thinking, SPRINT, Lean Startup, Agile, Business Modelling og Nudging, hvilke har gået sejrsgang verden over, ikke har et eksplicit proceselement, der består af netop moralske spørgsmål.

SPRINT er en af de mest brugte innovationsprocesser i både det offentlige og private.

Lad os se lidt nærmere på nødvendigheden af moralsk refleksion i forhold til teknologi og data.

Teknologi og automatisering (moral + algoritme = ?)

De selvkørende biler skal kodes til at træffe beslutninger. Men det samme gælder menneskelignende robotter og dronerobotter, hvilke også kan træffe valg, der har moralske konsekvenser. Grunddilemmaet er, hvorvidt en bil fx skal undvige – og ramme et træ og måske slå chaufføren og to passagerer ihjel – eller ramme et ældre par, der går ud foran bilen.

Man kan kode bilen til at ramme parret, fordi det samlet set er det mindst onde i forhold til antal ramte mennesker. Denne type etiske spil er klassiske dilemmaer, der ikke gives simple svar på, men som teknologien tvinger os til at give svar på.

Analyser peger på, at mængden af dødsofre i trafikken vil falde drastisk, hvis der kommer flere selvkørende biler på gaden, så i den forstand er det måske rimeligt at blive forvandlet til reservespiller i heideggersk forstand.

Men i hvert enkelt tilfælde, hvor en selvkørende bil (= en autonom robot) slår et menneske ihjel, vil spørgsmål om moralsk og også juridisk ansvar melde sig. For kan man i stor skala uddifferentiere dømmekraften til systemet og lade algoritmen være den nye etiske agent? Valget mellem at gøre A eller B kan sættes på matematisk formel, men man kan ikke indbygge moralske nuancer og refleksion i algoritmen.

Det samme gælder alle former for intelligente softwaresystemer knyttet til IoT, blockchain-løsninger, chatbots, kunstige SoMe-profiler og sagshåndteringssystemer (softwarerobotter). Når det intelligente computersystem træffer valg om at producere (hadske) budskaber på Twitter, forudsiger (diskriminerer) kriminelle typer i retssystemet, viser bestemte typer (ekskluderende) reklamer på Google, afdækker forsikringssvindel og indgiver skatteforhold, så er det algoritmen, der afgør udfaldet.

I den frie, ikkestyrede samtale får robotter hurtigt problemer af hermeneutisk art.

Men algoritmen er dels indkodet med vores – eller udviklerens – menneskelige fejl, dels påvirket af de handlinger, mennesker udsætter den selvlærende maskine for. Så i takt med udviklingen af en radikalt digitaliseret fremtid er alle relevante medarbejdere nødt til at engagere sig i en moralsk samtale omkring dilemmaerne for at undgå ”banal ondskab”.

De handlinger, svar og selvlærende principper, som den kunstige intelligens (maskinen/robotten) fodres med, har og får enorme konsekvenser for mennesker. Tag for eksempel forsikringsbranchen hvor en borger snart rapporterer om en skade eller et tyveri og erstatningssagen alene bliver vurderet af en softwarerobot. Eller tag revisionsbranchen, hvor en virksomhed snart ikke behøver at interagere med en revisor mere, fordi al bogføring og indberetning til SKAT foregår helt automatisk.

Det er grundlæggende betryggende, at et system er baseret på matematisk fairness og rationalitet. Derved får alle den samme lige behandling. Men det kræver, at inputtet er matematisk i første omgang. Medarbejdere foretager skøn og vurderinger og står i dilemmaer, hvor de må træffe valg, der ikke direkte kan rationaliseres i en algoritme.

Derfor må man i alle tilfælde nok stille krav til øget transparens om algoritmer, så enhver kan se, hvilke matematiske modeller og dermed rationalitet der ligger til grund for en robothandling, samt, at den menneskelige moralske dømmekraft skal integreres med algoritmiske beslutninger.

Virksomhedslederens moralsk digitale mindset må derfor bestå i en konstant moralsk refleksion over, hvordan der skabes transparens, og hvordan medarbejdere involveres i interaktion med maskinernes beslutninger. Teknologierne skal jo anvendes til at give bedre service og bedre produkter. Men de moralske dilemmaer skal behandles up front. Dette er også en position, der kan kommunikeres til markedet og således har forretningsmæssig værdi.

Dataanalyser (Moral + data = ?)

I dag kan vi samle og udnytte data om kunder og borgere på helt nye måder sammenlignet med tidligere. Mennesker lever phygitalt; fuldstændig sammensmeltet i det fysiske og digitale univers. I gamle dage samlede vi kun data ind via interviews, spørgeundersøgelser og observationer.

I dag har vi også digitale metoder til SoMe-analyser, søgehistorik-analyser, netadfærd, kamera- og sensoranalytics og input fra IoT og beacons (en bevidst iøjnefaldende enhed designet til at tiltrække opmærksomhed mod et bestemt sted), der kan kombineres med datakilder fra virksomhedsinterne databaser. Samlet set kan man skabe nærmest totaltækkende brugerprofiler og målrette information og markedsføring i skalaer og præcision som aldrig før set. Man kan nærmest alt, og man må meget, hvis man presser grænserne i det moralsk spektrum.

I Kina var Cambridge Analytica/Facebook nok ikke blevet en sag. Her har de en helt anden digital infrastruktur og lovgivning, og her er fx Tencent og Alibaba eksempler på total sammenblanding af virksomhed, stat og borgeres data, hvilket reelt betyder, at man er overvåget af ens egen mobil 24/7.

Tencent ved fx, hvad man har købt de sidste tre år, hvor meget man har bevæget sig, hvor længe man har arbejdet og været oppe, ens sygefravær, ens lægejournal, alt. For mange virksomheder er det guld, fordi nok data er som en krystalkugle, der kan forudsige adfærd.

Med nok data kan banker give præcise kreditvurderinger, forsikringsselskaber kan beregne præcise policer, arbejdspladser kan vurdere om de vil ansætte, reklamefirmaer kan målrette budskaber i ekstrem grad, osv.

Men nok data giver også mulighed for nyttemaksimerende manipulation og eksklusion af ”værdiløse mennesker” ud fra rent økonomiske kalkuler. For hvorfor skal en bank låne penge til en, der ifølge dataanalysen ikke kan betale tilbage? Hvorfor forsikre en familie mod tyveri, når dataanalysen peger på, at de vil blive røvet snart? Hvorfor ansætte en medarbejder, der snart vil melde sig syg?

Svarene på disse spørgsmål er simple i en matematisk beregning, men komplicerede med en moralsk målestok. Først og fremmest, fordi datadeterminismen jo ikke er den objektive sandhed – og uden refleksion fører til ”banal ondskab”.

Men spørgsmålet er også, om det er o.k. at kombinere alle personfølsomme data? Måske ja, hvis resultatet er præcis den medicin, der kan kurere én, men nej, hvis man uretfærdigt udelukkes og manipuleres med. Forskellen er, om andre end en selv har ret til at kombinere personfølsomme data.

Det er ikke tilfældet i Kina. Men i EU giver persondatabeskyttelsesloven (GDPR) en juridiske ramme. Den fjerner dog ikke det moralske ansvar hos virksomhedsledere og medarbejdere. For her ses ofte en ansvarsforskydning, hvor den moralske dømmekraft gemmes væk i de systemer, man opretter for at få kundernes tilladelse til at bruge data (permissions).

Virksomheder svarer igen, at forbrugere generelt er villige til at afgive alle typer data, så længe de får noget værdifuldt tilbage. Gratis data i retur for en gratis tjeneste. Det er en velkendt og attraktiv forretningsmodel, der er helt legitim. Pointen er blot, at den moralske refleksion og dømmekraft skal genindlejres i hvert eneste valg.

Altså, at det ikke kun handler om at få data for enhver pris, men at formålet og måden, hvorpå data anskaffes, er baseret på et reflekteret moralsk valg. Hvad der er blevet kaldt det altomfattende politiske designbegreb eller ethics by design, dvs. at man tager ejerskab for, hvordan den data, de fortolkninger og den rådgivning, der kommer ud af data, i alle skridt i processen indeholder moralsk stillingtagen.

Som forretningsposition er det også attraktivt, fordi borgere i stigende grad slår hårdt ned på datadrevet ”overvågning” og manipulation. Så det handler også om at deklarere, hvordan ens data bruges og opbevares og sælges/ikke-sælges. Det er også en attraktiv forretningsmæssige position.

Udnyt mulighederne, og styr efter det moralske kompas

Forretningsmulighederne er store med den stigende mængde data og de nye typer teknologier og dataanalyseværktøjer. I kombination med nye kundevendte forretningsmodeller kan virksomheder høste store fordele.

Når de mest avancerede softwarerobotter med kunstig intelligens begynder at kunne operere på tværs af back office og front office helt gnidningsfrit, så er arbejdet fra kunde-/borgerbetjening og sagshåndtering uafhængigt af medarbejdere og deres mange fejl og skavanker.

Der er ingen grund til at virksomheder skal undgå at høste de fordele, ny teknologi og data giver for bedre produkter og bedre services. Men som diskuteret er der behov for styring af kunstig intelligens og grænser for brug af andres persondata og det vigtige er, at det ikke alene kan overlades til (forsinket) lovgivning eller abstrakte systemer men må praktiseres af hver enkelt i de daglige interaktioner.

Min pointe i dette essay er dermed lige så simpel, som den er vigtig. Det handler om, at enhver leder og medarbejder vedligeholder sit moralske kompas (Aristoteles), respekterer det menneskelige (Heidegger) og praktiserer en skærpet moralsk refleksion i alle handlinger og beslutninger (Arendt).

For når teknologiudviklingen accelererer, og forretningsmulighederne vokser, er det let at forskyde den moralske overvejelse til systemet eller de andre. Et moralsk digitalt mindset må indbygges som en konstant kritisk stillingtagen og refleksion; som helt konkrete spørgsmål, hver enkelt medarbejder og leder må tage med til det kreative bord eller beslutningsbordet.

Det er ikke en ny disciplin, men et behov, der er aktualiseret og skærpet yderligere af den radikale digitalisering, fordi det er et nyt farvand, som ingen endnu har lært at navigere præcist i.

Har man en hammer, ligner alle problemer søm

Der er langt flere dilemmaer, end der er lette svar. Men der er en tendens til, at teknologien og mulighederne med data i nogen grad har forblændet politikere og virksomhedsledere. Og det jo en kendt sag, at hvis man har man en hammer, så ligner alle problemer søm. Og har man teknologi og data, kan alle problemer løses med nye produkter.

Denne Silicon Valley mentalitet (Singularity University-religion) har forplantet sig til danske virksomheder og regeringer, hvor alle samfundsspørgsmål automatisk får et teknologisk (eksponentielt) svar. Men teknologien bør ikke være et svar på alt. Som blandt andet Jesper Balslev har påvist, er der fx i folkeskolen ukritisk indført digital læring overalt uden at man har kunne påvise effekt.

Kritik og strategisk stillingtagen til, hvad man vil med teknologi og data, hvorfor det skal anvendes, hvordan output skal fortolkes, hvilket formål anvendelser tjener, og hvordan man moralsk udnytter de muligheder, der byder sig, er kardinalpunkter i et moralsk digitalt mindset.

Virksomheder kan ikke ”nøjes” med dygtige managere, dygtige specialister, dygtigere revisorer, jurister og dygtigere udviklere, analytikere, dygtige producenter og dygtige kommunikatører. Alle disse medarbejdere må udover deres fagligheder og udover, at de skal kompetenceudvikles til at indgå i nye konstellationer med maskiner, også alle efterspørge og indgå i den moralske samtale.

Moral i teknologi og dataanvendelse kan man argumentere for filosofisk – men det giver faktisk også rigtig god mening forretningsstrategisk. For nu, hvor hypen omkring de nye muligheder har lagt sig lidt, og de konkrete implementeringer af kunstig intelligens og avancerede dataanalyser af adfærd avanceres, begynder kunder og borgere også at råbe op. Og positionen som de moralske frontløbere i det digitale kapløb er ikke tæt besat.

(Jeg håber) vi går ind i en tid, hvor moral bliver et forretningskritisk parameter. Førende ikoner som Maeda proklamerer nu, at 2018 bliver året, hvor designetik kommer i centrum. Han spørger: Hvordan sikrer man den menneskelige frihed mest muligt i design? Hvordan hjælper design med at skabe mere lighed og inklusion? Hvad er demokratisk og bæredygtigt design? Virksomheder og alle relevante medarbejdere skal kunne svare prompte på disse typer spørgsmål.

---

Tak til Jesper Højberg Christensen, Mads Hennelund, Johan Trærup, Lasse Perrild og Tobias Bornakke for meget værdifulde kommentarer. Resterende mangler og fejl er alene mit ansvar. Forf.