Een boek over het gevaar van data en algoritmes, dat genomineerd wordt als non-fictie van het jaar en bovendien de Euler Book Prize (voor beste wiskundige boek) wint? Dat moet ik uiteraard gelezen hebben! En ook jij hebt baat bij de vele voorbeelden die de auteur opsomt over hoe artificiële intelligentie kan ontaarden in een ‘Weapon of Math Destruction’. Want – ook al komt dit minder aan bod in het boek - met een goed doordachte aanpak, kunnen we deze Weapons of Math Destruction omvormen naar oplossingen met de nodige ‘Critical Math’ om onze maatschappij duurzaam te verbeteren.

Algoritmes om leerkrachten te evalueren

Cathy O’Neil, de auteur van dit boek, is zelf een doctor in de wiskunde en weet dus waarover ze het heeft als ze praat over de kracht van de getallen en van algoritmische modellen. Een kracht die onze maatschappij bijzonder van nut kan zijn maar die, bij verkeerd gebruik, ook enorme maatschappelijke schade kan aanrichten.

Ze gebruikt als voorbeeld de algoritmes die computermodellen in de VS tegenwoordig gebruiken voor het evalueren van leerkrachten. Je kan al vragen stellen bij de beslissing om die evaluaties aan machines over te laten, maar het loopt helemaal fout als die beoordelingen op basis van bedenkelijke modellen gebeuren. Meer bepaald modellen die een algemeen criterium – ‘betere leerlingen kweken’ – omzetten in foute proxy’s.

Kort samengevat wordt de leerkracht geëvalueerd op basis van de toegevoegde waarde die hij of zij aan de leerling heeft gegeven. Die toegevoegde waarde wordt dan weer berekend met de resultaten die de leerlingen behalen op de uniforme tests op het einde van het jaar. Deze tests tonen echter maar één dimensie waarop de leerling zich heeft verbeterd. Vele andere belangrijke dimensies – sociale interactie, emotionele intelligentie, praktische vaardigheden – blijven hierbij onbelicht.

Een leerkracht die een heel jaar daarop heeft ingezet, kan zo een uiterst slechte evaluatie scoren. Terwijl een andere leerkracht die enkel heeft ingezet op het testgericht indrammen van leerstof een onterechte hoge score wegkaapt. Anders gezegd: het huidige evaluatiemodel ontmoedigt leerkrachten die oprecht hun best doen om hun leerlingen op een hoger niveau te tillen.

Vooroordelen door menselijke fouten

Deze en andere voorbeelden illustreren hoe een fout ingesteld model tot maatschappelijke wantoestanden en zelfs catastrofes kan leiden. Volgens O’Neil is ook de bankencrisis in 2008 grotendeels toe te schrijven aan anomalieën in de artificiële intelligentie of in de data die als basismateriaal worden gebruikt. Zowel de data als de algoritmen kunnen ‘bias’ bevatten, vooroordelen die onbewust de resultaten kunnen beïnvloeden met soms schrijnende gevolgen.

Men rekent op de onfeilbaarheid van de machines terwijl die machines ook niet meer doen dan een door mensen geselecteerde verzameling van data verwerken met een door mensen ontworpen model

Deze vooroordelen zijn louter het gevolg van menselijke fouten, bijvoorbeeld door te weinig relevante data als input te gebruiken of door verkeerde aannames te doen bij het ontwerpen van de algoritmes. Want ook daar loopt het vaak fout: men rekent op de onfeilbaarheid van de machines terwijl die machines ook niet meer doen dan een door mensen geselecteerde verzameling van data verwerken met een door mensen ontworpen model. Robots mogen er dan nog erg menselijk uitzien als er ogen, neus en mond worden opgeplakt, ze zullen nooit enige vorm van menselijk inzicht of humaan gedrag kunnen tonen.

‘I see a black box and I want to paint it white’

Wat kunnen we hieraan doen? Kunnen we ooit helemaal ‘bias’ wegwerken in onze datasets en in onze modellen? Eigenlijk niet, hoe erg we ook ons best doen om de data science teams zo gediversifieerd mogelijk te maken. Maar betekent dit ook dat we, net zoals O’Neil in haar voorts erg verdienstelijke boek, moeten neerleggen bij het feit dat modellen onvolledig, foutief en zelfs gevaarlijk zijn? Absoluut niet!

We kunnen namelijk wel de kans op ‘bias’ zo klein mogelijk maken door inzicht te verlenen in de gebruikte data en de algoritmes die aan de basis liggen van een machine learning of ander model. Zo maken we van de ‘black box’ die schijnbaar onbegrijpelijke en zichtbaar onwenselijke beslissingen neemt een ‘white box’ waarbij alle gebruikte data en beslissingslogica worden opgelijst.

Een dergelijk transparant model kan dan eenvoudiger worden geklasseerd op impact met de zogeheten Individual Conditional Expectation en Partial Dependency technieken. Op die manier worden eventuele foute wegingen van bepaalde variabelen sneller ontdekt en bijgestuurd. En het leent zich beter tot een gedetailleerde observatie, waarbij bijvoorbeeld per persoon kan worden toegelicht waarom die geen recht heeft op een lening volgens het gebruikte model.

Want ook dat mogen we niet uit het oog verliezen: los van eventuele vooroordelen in data, kan er ook bias optreden in de beslissing die op basis van de beschikbare data en modellen wordt genomen. Dat ontdekte ook Xerox toen uit hun onderzoek naar de drijvende factoren om het bedrijf te verlaten de pendeltijd een grote impact bleek te hebben. De voor de hand liggende beslissing was om enkel mensen uit de buurt aan te werven. Maar omdat ze beseften dat ze hiermee bepaalde inkomensklassen zouden discrimineren – Xerox is gevestigd in een behoorlijk rijke buurt – hebben ze deze beslissing toch niet genomen. Zo bewees het bedrijf dat je algoritmes maar zo bepalend laat worden als je dat zelf wil: beslissingen, zelfs de geautomatiseerde variant, kunnen én moeten nog steeds een mensenzaak blijven.

Conclusie

‘Weapons of Math Destruction’ is een absolute aanrader voor ieder die met analytics, machine learning en andere vormen van dataverwerking bezig is. Maar gelukkig oogt de toekomst niet zo somber als je zou denken na het lezen van dit boek. De auteur heeft weinig oog voor de beschikbare oplossingen, die de kans op maatschappelijke ontsporing drastisch verminderen.

Maar als wake-up call voor data scientists, voor vele overheden en eigenlijk voor elk van ons in deze data-gedreven maatschappij, kan dit boek niet genoeg geprezen én gelezen worden!