Waarom de data niet altijd gelijk hebben

Data zullen onze toekomst beheersen. Computers in allerlei vormen en maten zullen massieve hoeveelheden gegevens verzamelen over de wereld om ons heen en ons menselijk doen en laten. Superkrachtige algoritmes zullen deze data bliksemsnel analyseren om er allerlei conclusies en voorspellingen aan te koppelen. Zo zullen onze kleinkinderen later aan de computer vragen welk medicijn hen kan verlossen van die vervelende burn-out. Of welke partner hen echt gelukkig zal maken. Of welke werknemers ze maar beter kunnen ontslaan om hun zaak winstgevender te maken. Klinkt als science fiction? Volgens auteurs zoals Yuval Noah Harari kan het al zover zijn voor ik goed en wel kleinkinderen heb.

Misschien ben ik nu al hopeloos voorbijgestreefd in mijn denken, maar ik ben wat terughoudend om belangrijke beslissingen in de handen van datagedreven computeralgoritmes te leggen. Mijn ervaring binnen bedrijven leert me dat beslissen op basis van data-analyses veel meerwaarde kan bieden, maar helemaal niet zo eenvoudig is. En als het al moeilijk is op die kleine schaal, wat geeft het dan op gigantische schaal? Ik zie drie uitdagingen die voor mij nog onvoldoende beantwoord zijn.

1. Illusie van objectiviteit

Met data werken is met cijfers werken. En als je op iets een cijfer plakt, dan lijkt het alsof je zuiver objectief en feitelijk aan het werken bent. In de praktijk moeten er heel wat subjectieve beslissingen genomen worden om tot cijfers te kunnen komen.

Stel: een supermarktketen wil de bezoekersaantallen per winkel meten. Enkele simpele voorbeelden van beslissingen die ze moeten nemen:

• Tellen kinderen en baby’s mee voor de bezoekersaantallen?
• Als iemand twee keer op een dag dezelfde winkel binnenkomt, telt die dan twee keer mee?
• Wat als iemand snel binnen en buiten gaat om geld te wisselen of een lege kartonnen doos mee te graaien? Telt die dan mee als een bezoeker?

Dit zijn triviale vragen, maar ze hebben een impact op het uiteindelijke cijfer dat je te zien krijgt. En meestal is dat maar het tipje van de ijsberg:

• Dataverzameling gebeurt door automatische systemen, die afgesteld moeten worden en bepaalde blinde vlekken hebben (bv. het aantal mensen wordt niet correct gedetecteerd als ze te snel lopen)
• Dataverzameling gebeurt (mee) door mensen die belang hebben bij de uitkomst (bv. meer dan 1.000 bezoekers per dag betekent een bonus, en dus staat de inzamelbox voor lege batterijen achter de detector i.p.v. ervoor).
• Dataverzameling varieert afhankelijk van plaats of tijdstip (bv. winkels in Limburg hebben een ander merk detector dan die in Brussel)

Het uiteindelijke cijfer dat je krijgt is dus geen onafhankelijk objectief gegeven, maar heel sterk context-gebonden. In sommige gevallen is die subjectiviteit overduidelijk (bijvoorbeeld bij de cijfers over Corona-slachtoffers viel al snel op dat er in het weekend minder gerapporteerd werd). Maar vaak is het moeilijk om de volledige complexiteit die zich achter een cijfer verschuilt te vatten. Dit is bijvoorbeeld een uitdaging voor directies die weinig contact hebben met de werkvloer en enkel beslissen op basis van rapporten met cijfermateriaal. Het gebeurt dat er dan verkeerde beslissingen genomen worden.

Het is niet onmogelijk om hier oplossingen voor te vinden, zoals expliciete definities die bepalen wat en hoe je gaat meten en tellen. Maar zelfs binnen kleine organisaties vraagt dit inspanningen en discipline. Als je op mega-schaal werkt met datasets waarin alles op één grote hoop gegooid wordt, hoe ga je daar dan mee om?

2. Data-tunnelvisie

Om beslissingen te kunnen nemen op basis van data moet je die data eerst te pakken krijgen. Voor sommige parameters is het relatief eenvoudig om de nodige gegevens te verzamelen. Het gaat dan meestal om korte termijn zaken of om geld (bv. hoeveel omzet hebben we afgelopen 3 maanden gedraaid?). Andere zaken zijn lastiger om te meten:

• Waarom kiezen klanten voor ons i.p.v. voor onze concurrent?
• Hoe graag werken onze mensen voor ons bedrijf?
• Is ons huidig business model voldoende robuust om over 10 jaar nog relevant en winstgevend te zijn?

In contexten waar de klemtoon ligt op datagedreven beslissingen gaat er automatisch meer aandacht naar de parameters die makkelijk te quantificeren zijn. De meer kwalitatieve parameters krijgen minder aandacht terwijl ze wel relevant zijn. Zo ontstaat een tunnelvisie die kan leiden tot slechte beslissingen. (Zo had ik het in een eerdere blogpost over de spectaculaire ontploffing van de space shuttle Challenger).

Er zijn twee strategieën om hiermee om te gaan. Ofwel zoek je manieren om de kwalitatieve parameters toch te kunnen meten (bv. door de combinatie van vragenlijsten en het personeelsverloop krijg je een zicht op de tevredenheid van werknemers). Initieel geeft dit maar een ruwe benadering, maar als je dit blijft uitbreiden en verfijnen kom je uiteindelijk tot iets betrouwbaars. Ofwel ga je naast kwantitatieve analyses ook inzetten op kwalitatieve analyses. Die gaan niet rekenen met de gekende gegevens, maar onderzoeken welke ongekende gegevens relevant kunnen zijn. Zijn er parameters die we tot nu toe niet meten maar die een impact hebben op het succes van ons bedrijf? Zijn er innnovaties in onze sector die ons lange termijn business model kunnen bedreigen?

Volgens mij heb je beide strategieën nodig om goede beslissingen te kunnen nemen in complexe contexten. Algoritmes zijn heel nuttig voor de eerste strategie, maar veel minder voor de tweede strategie, want die vraagt out-of-the-box denken.

3. Hoe geef je de prioriteiten mee?

Data-analyses leiden niet altijd tot één enkele aanbeveling die boven alle andere uitsteekt. Moeten we inzetten op productlijn X, met een potentieel voor zeer hoge omzet maar lagere winstmarges? Of op productlijn Y, met een veel lagere omzet maar hogere winstmarges? Kies je als zwangere vrouw voor een behandeling die het risico op doodgeboorte vermindert met 0,005% maar het risico op zware postnatale depressies verdrievoudigt?

De ethische vraagstukken die bij artificiële intelligentie horen zijn een variant op dit thema. Ook hier gaat het over prioriteiten: moet een zelfrijdende auto plots uitwijken om een groep schoolkinderen te vermijden, ook als de passagier van de auto daardoor kan sterven? Algoritmes kunnen hierover allerlei data uitspuwen, maar om te beslissen moet je weten waar je prioriteiten liggen.

Een mogelijk antwoord is dat wij die prioriteiten moeten programmeren in de algoritmes. Maar zo simpel is het niet, want prioriteiten kunnen van persoon tot persoon verschillen. En sommige prioriteiten blijken moeilijk om te verwerken in algoritmes. Zo is er het voorbeeld van de Apple kredietkaart. De limieten werden berekend door een algoritme waarbij geslacht geen rechtstreekse parameter was, maar dat in praktijk toch bleek te discrimineren tegen vrouwen.

Een andere optie is dat het algoritme ons alle cijfers en kansberekeningen bezorgt zodat wij de beslissing kunnen nemen. Ook dit is in praktijk niet altijd realistisch. Mensen blinken niet uit in beslissen op basis van statistiek. Als we de keuze krijgen tussen 90% kans op overleven en 10% kans op sterven kiezen we voor het eerste, ook al komen beide scenario’s op hetzelfde neer. Meer cijfermateriaal gaat beslissen net moeilijker in plaats van gemakkelijker maken.

Mijn conclusie

Dit zijn mijn drie grote bedenkingen bij big data algoritmes. Benieuwd waar het effectief naartoe zal gaan. Ik neem me alvast voor om dit over 25 jaar te komen herlezen om te kijken hoe ver ik er naast zat ?

Image by Markus Spiske and Free-Photos from Pixabay