Boek · 2024

In de schaduw van AI

Leven in een algoritmische tijd

Madhumita Murgia

Waar het over gaat

De meeste boeken over AI gaan over de technologie. Dit boek gaat over de mensen die eronder leven. Madhumita Murgia, AI-redacteur bij de Financial Times, reisde de wereld over en volgde mensen wier leven door algoritmes wordt bepaald. Datawerkers in Nairobi en Bulgarije die voor een paar cent per taak beelden labelen. Vrouwen die hun gezicht terugvinden in deepfakes. Koeriers die door een app worden aangestuurd zonder ooit een baas te spreken. Een Argentijns systeem dat tienerzwangerschappen moest voorspellen. Oeigoeren onder totale surveillance. En dichtbij: Diana Sardjoe uit Amsterdam, wier zonen op de Top400-lijst belandden.

Elk hoofdstuk draagt een bezittelijk voornaamwoord: je werk, je lichaam, je identiteit, je vrijheid. Murgia laat zien hoe onze zeggenschap over het eigen leven ongemerkt verschuift naar systemen die we niet kunnen controleren. Ze sluit af met vragen die burgers, bedrijven en beleidsmakers zouden moeten stellen.

De gezinnen werden in de gaten gehouden omdat hun kinderen in de Top400 stonden, waardoor ze “machteloos waren tegenover de overweldigende kracht van het algoritme”. De balans was doorgeslagen “van zorg naar dwang”.

Madhumita Murgia, p. 147

Wat het betekent voor pedagogiek en onderwijs

In mijn boek Mens blijven tussen systemen verwijs ik twee keer naar Murgia. De eerste keer om de onzichtbare arbeid achter AI te laten zien. Achter elke chatbot zitten mensen die voor een paar cent per taak data schonen en labelen, vaak zonder te weten waarvoor. Murgia noemt hen de geesten in de machine, en spreekt van digitaal kolonialisme. Dat raakt het onderwijs direct. We leren kinderen over eerlijke handel en duurzaamheid, en gebruiken tegelijk systemen die op die arbeid draaien. Wie kiest er eigenlijk voor dat de klas daarover zwijgt?

De tweede keer gaat het over de Top400. Amsterdam registreerde kinderen vanaf twaalf jaar als potentiële criminelen, op basis van onder meer schoolverzuim, politiecontacten van familieleden, woonbuurt en een scheiding van ouders. Geen daden, maar correlaties. Murgia volgt Diana Sardjoe, wier zonen op de lijst stonden. Een systeem dat moest beschermen, werd een digitale gevangenis. Het zag geen kinderen met dromen en talenten. Het zag risicofactoren.

Daar zit voor mij de pedagogische kern. Hetzelfde mechanisme kruipt het onderwijs gemakkelijk binnen. Systemen die uitvalrisico voorspellen, gebruiken dezelfde soort variabelen: postcode, gezinssamenstelling, thuistaal. Een kind uit de ene wijk krijgt dan algoritmisch een ander advies dan een kind uit de andere. Het is de stille verschuiving waar mijn boek over gaat. Geen dystopie, wel een dashboard dat het oordeel van de leraar overneemt. En wie spreekt een formule tegen?

Murgia schrijft dat we ons morele gezag overdragen aan machines. Voor het onderwijs is dat precies de vraag. Een leraar die een kind ziet, kan zich vergissen, maar kan ook van mening veranderen. Een lijst verandert niet van mening.

“Ze eigenen zich onze verbeeldingskracht toe. […] Ze verkopen ons onze dromen terug, nu verpakt als machineproducten.”

Madhumita Murgia, p. 145

Welke vragen roept het op?

Welke gegevens over onze leerlingen verzamelen we, en waar gaan ze heen?
Gebruiken wij systemen die voorspellen in plaats van zien?
Wie op school kan uitleggen hoe een advies of signaal tot stand komt, en wie mag het tegenspreken?
Wat vertellen we leerlingen over de mensen die de AI maken die zij dagelijks gebruiken?
Welke leerlingen worden door algoritmes anders beoordeeld dan ze zijn, en wie ziet daarop toe?

Wat kunnen we ermee?

Lees in een team het hoofdstuk over de Top400 en kijk daarna de NPO-documentaire Moeders (2021). Zet ernaast de systemen die jullie school zelf gebruikt, van leerlingvolgsysteem tot verzuimregistratie. Neem Murgia’s slotvragen als checklist bij de aanschaf van nieuwe technologie: is het transparant, wie wordt beschermd, wie doet mee, en waar ligt de menselijke controle?

“Alle gradatie- en kennissystemen die we vandaag de dag gebruiken in de medische praktijk zijn gebaseerd op studies die op een specifiek moment zijn verricht op een specifieke plaats onder een specifieke populatie.”

Madhumita Murgia, p. 125

Gegevens

Titel	In de schaduw van AI. Leven in een algoritmische tijd
Auteur	Madhumita Murgia
Vertaling	Robert Neugarten
Uitgever	Atlas Contact
Jaar	2024
Omvang	296 pagina’s
ISBN	978-90-470-1636-6 (paperback), 978-90-470-1637-3 (e-book)
Oorspronkelijk	Code Dependent: Living in the Shadow of AI, Picador / Pan Macmillan, 2024
Zie ook	NPO-documentaire Moeders (2021)
APA 7	Murgia, M. (2024). In de schaduw van AI: Leven in een algoritmische tijd (R. Neugarten, Vert.). Atlas Contact.