Het is naïef om te denken dat modellen en algoritmes, hoe wiskundig ook, geen fouten kunnen bevatten en een gegarandeerde consistente prestatie kunnen leveren. Ze kunnen integendeel zelfs tot discriminatie en menselijke drama’s leiden. Monitoring en validatie van die modellen zijn met andere woorden een absolute must. En dat is waar Jos Gheerardyn en Sebastien Viguie met Yields, in 2018 winnaar van de Startup Award van Fintech Belgium, op inzetten.
Yields werd in 2017 opgericht door de Vlaming Jos Gheerardyn en de Waal Sebastien Viguie. Die eerste begon in 2005 bij Fortis Bank, waar hij aan het hoofd stond van een team van zogenaamde ‘Quants’, wiskundigen die modellen bouwen om transactierisico’s in te schatten. Sebastien maakte deel uit van dat team, waardoor de twee elkaar leerden kennen.
“Wellicht weet je nog dat er tussen 2005 en 2010 enkele interessante zaken gebeurd zijn in de financiële markten, om het maar zachtjes uit te drukken”, begint Jos Gheerardyn. “Die wereldwijde crisis bracht ons voor het eerst in contact met modelrisico’s, zijnde de risico’s die organisaties lopen wanneer ze met modellen aan de slag gaan die niet correct functioneren. Het bleek namelijk dat de inschattingen die op basis van die modellen werden gemaakt, verre van nauwkeurig waren.
De kredietcrisis was met andere woorden een schoolvoorbeeld van het falen van foute modellen: banken wereldwijd gebruikten toen dezelfde eenvoudige modellen om heel complexe transacties met heel wat verschillende factoren te waarderen, waardoor opeens een sneeuwbaleffect ontstond waarbij enorm veel mensen opeens hun hypotheek niet meer konden afbetalen en banken overkop gingen. Kortom, de instorting van de financiële markten was modelrisico in actie, voor het oog van de wereld.”
Wiskundig correct algoritme, veranderende context
Nadat Jos Gheerardyn bij de bank stopte, ging hij als consultant verder modellen bouwen voor bedrijven, maar legde hij zich vooral toe op het valideren ervan: onafhankelijk testen of ze wel correct werkten. Daarbij focuste hij vooral op organisaties in de financiële en energiesector. “Ik stelde vast dat er heel wat tools bestonden om modellen te bouwen, maar niet om die te valideren”, gaat hij verder.
“Die vaststelling lag in 2017 aan de basis van Yields en de ontwikkeling van een softwareplatform waarop klanten – managers, model validators, ontwikkelaars, risicomanagers en datawetenschappers – hun wiskundige modellen kunnen monitoren en valideren, en de problemen in hun algoritmes omzetten in bruikbare zakelijke inzichten. Via onze A.I. technologie automatiseren we dit proces, waardoor het risico op fouten kleiner wordt.
Een perfect model bestaat niet en zal nooit bestaan
Eerst moeten organisaties in kaart brengen wat de risico’s precies zijn – de kwalitatieve vraag – en hoe ze die kunnen gaan meten. Dat laatste is dan het kwantitatieve gedeelte. Onze software maakt het mogelijk zo’n proces te ontwikkelen en implementeren. Met als voorwaarde dat de organisatie dat proces constant monitort en valideert: de realiteit verandert namelijk voortdurend, dus moet het model, dat daar een analogie van is, ook voortdurend worden aangepast op basis van de uitkomst van de monitoring.”
“Zoals je ook vandaag het weer niet zou kunnen voorspellen met een algoritme dat getraind is met meteorologische data uit de vorige eeuw – zelfs al is dat algoritme zelf wiskundig correct, de context is nu eenmaal veranderd. Door constant te monitoren en aan te passen kunnen algoritmes op een veiligere manier in de wereld ingezet worden. Anders gezegd: een perfect model bestaat niet en zal nooit bestaan.”
Onbetrouwbare en onethische A.I.
Aanvankelijk boden Jos Gheerardyn en Sebastien Viguie het platform aan de financiële sector aan, zeker omdat sinds de bankencrisis het valideren van modellen wettelijk verplicht is en omdat modelrisico daar nu eenmaal al het langst bekend is. "Met succes, enkele van de grootste banken ter wereld maken gebruik van de technologie en recent werd een partnership afgesloten met een Big 4 bedrijf.” Maar vandaag kijkt Yields ook naar andere high risk environments, waar eveneens het risico van niet-accurate modellen bestaat.
“Complexe algoritmes en modellen doen in steeds meer domeinen hun intrede, omdat machine learning en AI steeds meer ingang vinden”, aldus Sebastien Viguie. “Het is belangrijk dat daarbij streng wordt toegekeken op het verzekeren van de accuraatheid en robuustheid van de modellen, maar ook op het vermijden van bias en optimaliseren van fairness in die modellen – Europa speelt daar overigens een voortrekkersrol in. Ons platform kan heel nuttig zijn om unethical AI te detecteren. Vooral omdat het modelrisicosysteem dat we toepassen in de financiële wereld heel gelijklopend blijkt met dat in andere sectoren waar de impact van algoritmes heel groot kan zijn.
Complexe algoritmes en modellen doen in steeds meer domeinen hun intrede, omdat machine learning en AI steeds meer ingang vinden
Zo zien we heel veel interesse uit de healthcare, waar steeds meer algoritmes worden ingezet. Die moeten uiteraard correct werken, zeker als die bijvoorbeeld dienen om een automatische diagnose te stellen. Dan kan je het risico op discriminatie van het algoritme tegen specifieke populatiegroepen niet lopen én moet je ervoor zorgen dat de dokter begrijpt waarom het algoritme een bepaalde diagnose stelt. Ten slotte moet er correct en helder gecommuniceerd worden indien er te veel onzekerheid met de diagnose gemoeid is.”
Bias en de negatieve impact op bedrijven
Naast healthcare kijkt Yields ook naar de energiemarkt. “En de verzekeringssector, omdat die met name heel dicht bij de financiële wereld staat”, verduidelijkt aldus Jos Gheerardyn. “Maar we focussen onder andere ook op HR, bijvoorbeeld wanneer algoritmes worden ingezet om mensen in hun job te trainen of om sollicitanten te koppelen aan openstaande vacatures. Ook daarin moet je uiteraard bias vermijden omwille van de maatschappelijke impact, wat een van de redenen is waarom wij onze technologie nu zo breed mogelijk willen inzetten.
De voorbeelden die soms in de media komen, zijn ook schrikwekkend, zoals mensen die geen lening krijgen toegekend omdat het model hen niet kredietwaardig acht omwille van hun woonplaats of achtergrond. Dat kan gebeuren omdat de data waarop het algoritme zich baseert al gebiased is. Dat heeft niet alleen een grote menselijke impact, het straalt ook heel negatief af op het bedrijf dat die algoritmes inzet.”
“Je kent misschien het voorbeeld van Amazon, dat algoritmes inzette om programmeurs aan te werven”, aldus nog Sebastien Viguie. “Omdat de internetreus historisch gezien allemaal mannelijke ontwikkelaars had, ging het algoritme daar zelf op gaan selecteren, zodat vrouwen bij selectie veel minder kans maakten. Of er was die rel rond de kredietkaart van Apple, die eveneens gender biased was. En afgelopen zomer probeerde het Britse scholensysteem om via een algoritme de score van leerlingen te berekenen die door COVID-19 geen examens hadden kunnen afleggen, maar ook dat model zal vol vooroordelen.
Als de data waarop het algoritme zich baseert al gebiased is, kan dat een grote menselijke impact en negatief afstralen op het bedrijf dat die algoritmes inzet
“Dat zijn nu enkele heel duidelijke voorbeelden, maar vaak gaat het om veel subtielere bias. Maar die moet even goed gedetecteerd worden. Modelrisicobeheer klinkt dus als term misschien niet echt als iets urgents of maatschappelijk gewichtig, maar het gaat wel om zaken die vandaag niet langer beperkt zijn tot het bankwezen, maar overal in de samenleving aanwezig zijn. En dus al onze aandacht verdienen.”
