Een van de meest voor de hand liggende toepassingen van AI in de klas is teksten op niveau maken. Neem een tekst voor oudere leerlingen en schrijf die om zodat een jongere of zwakkere lezer hem kan volgen. Dezelfde inhoud, eenvoudiger taal. Het klinkt als precies het soort klus waar een taalmodel briljant in zou moeten zijn. Een recent onderzoek keek er zorgvuldig naar, en het antwoord is lastiger dan de marketing doet vermoeden.
De test
Onderzoekers namen zestig leesteksten op het niveau van het examenjaar van de middelbare school en vroegen drie taalmodellen om ze te vereenvoudigen naar drie lagere niveaus. Ongeveer 13 tot 14 jaar, 11 tot 12 jaar en 9 tot 10 jaar. Met verschillende prompts en modellen leverde dat 2.315 herschreven teksten op, elk getoetst aan het beoogde leesniveau. Vereenvoudigen naar 13 tot 14 jaar lukte. Naar 11 tot 12 jaar ook. Naar 9 tot 10 jaar niet. Geen enkele combinatie van model en prompt haalde dat niveau betrouwbaar. De teksten kwamen te moeilijk uit.
AI-modellen vereenvoudigden teksten goed tot ongeveer 11 tot 12 jaar, en schoten tekort bij 9 tot 10 jaar.
En het wordt onderweg steeds slechter
Hoe verder de modellen vereenvoudigden, hoe meer van de oorspronkelijke betekenis verloren ging. Hoe harder ze probeerden een jongere lezer te bereiken, hoe meer ze juist de inhoud weglieten die die lezer moest leren. Je houdt twee slechte opties over. Een tekst die nog steeds boven het niveau van het kind zit, of een tekst die eenvoudig genoeg is om te lezen maar niet veel meer zegt.
Op zijn kop
Hier zit het ongemakkelijke deel. De lezers die de sterkste vereenvoudiging nodig hebben zijn jonge kinderen, kinderen met dyslexie en kinderen die in een tweede taal leren en het verst achterliggen op hun leeftijdsgroep. Dat zijn precies de lezers die de huidige modellen het slechtst bedienen. De technologie werkt het best voor de kinderen die hem het minst nodig hebben, en schiet tekort voor de kinderen die hem het hardst nodig hebben.
Waarom dit gebeurt
Taalmodellen zijn heel goed in de vorm van een tekst. Kortere zinnen, eenvoudigere woorden, vloeiend proza. Ze zijn veel minder betrouwbaar in het sturen van wat een tekst werkelijk van een lezer vraagt. En juist dat tweede bepaalt of een kind de tekst kan begrijpen en ervan kan leren. Een tekst kan er eenvoudig uitzien en toch moeilijk zijn, omdat het redeneren erin, de veronderstelde voorkennis of het aantal ideeën per zin niet is veranderd. Lange woorden inruilen voor korte is niet hetzelfde als schrijven voor een kind van negen.
Wat het echt oplost
In het onderzoek deden de modellen het veel beter wanneer mensen met expertise structuur in het proces brachten. Voorbeelden van experts om vanuit te werken, en keuzes van experts over welke woorden en ideeën moesten blijven. Dat is de echte les. AI kan veel van het zware werk doen om lesmateriaal toegankelijk te maken. Maar de toets kan niet zijn dat de tekst lekker leest. Het moet zijn dat een kind op dit niveau de tekst echt kan begrijpen en kan leren wat die moest overbrengen. Die controle vraagt nog steeds een mens die kinderen kent en het vak kent.
Neem dit mee
- 1AI-modellen vereenvoudigden teksten goed tot ongeveer 11 tot 12 jaar, en schoten tekort bij 9 tot 10 jaar.
- 2Geen enkele combinatie van model en prompt haalde het jongste leesniveau betrouwbaar.
- 3Hoe verder ze vereenvoudigden, hoe meer betekenis verloren ging.
- 4De kinderen die de eenvoudigste teksten nodig hebben, worden door de huidige modellen het slechtst geholpen.
- 5Er eenvoudig uitzien is niet hetzelfde als begrijpelijk zijn. Die controle vraagt nog steeds een mens.
