For ti minutter siden ringede en venlig dame for at forklare mig, hvorfor mit kreditkort var blevet spærret. Det skyldtes, fortalte hun, at bankens system havde kategoriseret min brugsadfærd som mistænkelig. Jeg fortalte, at jeg blandt andet brugte kortet til Facebook-annoncering, hvilket genererer et konstant virvar af små fakturaer.
Hvis jeg imidlertid kunne få at vide, hvilke faresignaler der tænder de røde banklamper, kunne jeg måske styre udenom, foreslog jeg. Men nej, det kunne desværre ikke lade sig gøre. Jeg må have lydt let irriteret, for den venlige dame skyndte sig at tilføje, at banken skam i princippet gerne ville fortælle mig det. Men de vidste det simpelthen ikke.
Lad os se i øjnene, at verden måske nok klarer sig uden mine Facebook-annoncer. Men der er andre, langt alvorligere, aspekter af vores tilværelse, som i stigende grad afgøres af algoritmer, som meget få mennesker (om nogen) forstår, og som er alt andet end neutrale i deres konsekvenser. Omtrent sådan lyder kampråbet i Cathy O’Neils Weapons of Math Destruction med den manende undertitel How Big Data Increases Inequality and Threatens Democracy.
Nu er der jo mange, der mener hårde ting om kvantificering af det fælles liv. Om det så handler om målstyring, test af skolebørn, fremvækst af konkurrencesamfund eller blot djøficering mere generelt. Men O’Neil deler slet ikke dette generelle ubehag. Ja, faktisk holder hun som matematiker vældigt meget af tal og ser masser af fordele og potentiale for nye erkendelser i big data. Men udviklingen har en destruktiv bagside, som bør holdes i ekstremt kort snor for ikke at overskygge fordelene: Nemlig de særlige matematiske værktøjer, som O’Neil henviser til i titlen.
Men hvorfor opstår disse løbske, destruktive og uretfærdighedsskabende algoritmer? Desværre fordi de er fordelagtige for deres skabere.
Den tilsyneladende objektive matematik
Igennem tiden har vi måttet indføre lovgivning for at undgå, at nogle (banker, forsikringsselskaber, arbejdsgivere med flere) lagde vægt på specifikke detaljer som f.eks. vores helbredstilstand, handikap, kreditværdighed eller risiko for arvelige sygdomme. Men med store datamængder kan man finde tegn på stort set alle aspekter af vores tilværelse: Køber du astma-medicin på nettet? Googler du viden om kræft? Klikker du på reklamer for kviklån? og derved opnå den eftertragtede viden uden at ryge i klammeri med loven.
En anden grund er, at algoritmerne “virker”. Hvis dit formål er profit (eller effektivitet af en anden type), er du muligvis ret ligeglad med, om algoritmerne er helt præcise. 90 procents sikkerhed kan være sød musik, så længe du ikke behøver bekymre dig om de mennesker, der fejlagtigt frasorteres eller sammenblandes, fordi algoritmen vurderer, at du og din navnebror nok er den samme person.
En tredje og mindst lige så interessant årsag til indførelse af algoritmiske afgørelser i selv ret komplicerede sociale sammenhænge er, at de bekvemt kan erstatte svære samtaler. Masser af afgørelser i samfundslivet er jo stærkt diskutable, og de, som træffer dem, kan derfor (ofte med en vis ret) udsættes for tidskrævende og ubehagelig kritik. Her tilbyder computeren, systemet, algoritmen en herlig konfliktdæmpende udvej: Systemet har talt, og systemet er indspundet i kompliceret matematik, som på bedste pseudovidenskabelige vis fremstår objektiv.
Motivationen bag algoritmerne er altså ofte tvivlsom. Men O’Neil understreger, at der skal to yderligere ingredienser til for at gøre kagen rigtig giftig. Den første er mørklægning. Hvis du ikke kan få oplyst, hvordan algoritmen, der afgør, om du skal prøveløslades, godkendes til et lån eller fyres fra dit arbejde, fungerer, er Kafka-effekten total. Og det er desværre helt normalt.
Hver eneste gang, forbrugeren foretager sig noget på nettet, opstår ny data, som bruges kommercielt. Getty Image/Johnnie Davis.
Algoritmer er forretningshemmeligheder
De virksomheder, som tilbyder trængte domstole eller skoledistrikter smarte værktøjer til at afgøre sandsynligheden for, at du falder tilbage i kriminalitet, eller om du er en god skolelærer, bevogter detaljerne i deres algoritmer, som var det opskriften på Coca-Cola - det er skam forretningshemmeligheder. Hvis du kendte algoritmen, kunne du desuden meget nemt “game” den ved at svare fordelagtigt (for dig selv) på spørgeskemaer med videre - og det går jo virkelig ikke.
Den anden vigtige ingrediens er manglende lærevillighed. Når en model, der forudsiger vejret tager fejl, så kan den korrigeres, så den bliver bedre. Den refererer til en ekstern virkelighed, der er ligeglad med modellen. Men hvad med en model for om en skole er “god”? Her vil der ofte ikke være noget mål for kvalitet, som eksisterer uden for modellen. Det er altså i praksis modellen, der afgør om skolen er “god”, og modellen vil derfor ikke blive løbende forbedret - skoler vil derimod blive fanget i et våbenkapløb om at tilfredsstille modellen bedst.
O’Neils bog er et overflødighedshorn af denne type eksempler. Mange er tankevækkende, nogle er horrible og stærkt overbevisende. Hendes styrke er åbenlyst hendes matematiske baggrund, og at hun har forladt selve maskinrummet i ægte bestyrtet indignation. Hendes pointer er væsentlige, og hendes bekymring er begrundet. Bogens struktur er desværre lidt mindre åbenlys. Argumentationen er lidt springende, og mens de mange anekdoter underholder og forarger, er de ikke altid befordrende for, at man som læser kan holde fast i det store billede.
Men billedet er der, og det er ikke kønt. O’Neil foreslår selv lovgivning - som pendant til den, der blev nødvendiggjort i den industrielle revolution for at beskytte børn, fabriksarbejdere mv. Undervisning er nok en anden væsentlig strategi, hvis vi som borgere skal kunne forstå vores tilværelse i fremtiden. Under alle omstændigheder: Lovgivere og skolelærere kommer ikke til at mangle opgaver lige foreløbig.