Elk groot AI-model is getraind om behulpzaam te zijn. Vraag iets en het doet zijn uiterste best om je probleem zo snel en volledig mogelijk op te lossen. Voor bijna alles waarvoor volwassenen het gebruiken, is dat precies wat je wilt. Leren is de uitzondering. Een kind dat aan een moeilijk probleem werkt, heeft er niets aan als het probleem wordt opgelost. Het kind moet het zelf oplossen. Een recente test liet met een cijfer zien hoe hard die twee doelen botsen.
De test
Een ontwikkelbedrijf liet zes geavanceerde AI-modellen gesprekken voeren met nagebootste leerlingen in klas 2. Die leerlingen waren zo ontworpen dat ze dezelfde misvattingen over algebra hadden als echte leerlingen. Toen de modellen alleen de algemene opdracht kregen om behulpzaam te zijn, gaven ze in 97 procent van de gesprekken het antwoord weg. Het is belangrijk om duidelijk te zijn over wat dit was. Een simulatie, geen onderzoek in een klaslokaal. Het betekent niet dat 97 procent van de echte lessen misgaat. Het laat wel het standaardinstinct van de technologie zien. Laat je een model dat is gemaakt om te helpen zijn gang gaan, dan geeft het het antwoord gewoon weg.
Met alleen de opdracht om behulpzaam te zijn, gaven geavanceerde modellen in 97 procent van de nagebootste tutorgesprekken het antwoord weg.
Een tutorprompt helpt. Maar lost het niet op
Toen dezelfde modellen de opdracht kregen zich als tutor te gedragen, deden ze het een stuk beter. Maar geen enkel model was steeds goed in de twee dingen die een tutor tegelijk moet doen. Uitzoeken waarom de leerling vastloopt, en genoeg van de redenering achterhouden zodat de leerling nog steeds zelf moet nadenken. Andere benchmarks laten iets vergelijkbaars zien. TutorBench testte 16 geavanceerde modellen op drie dingen. Konden ze een uitleg aanpassen aan de verwarring van een leerling, nuttige feedback geven op het werk en een hint bieden waardoor de leerling actief bleef? Het beste model scoorde ongeveer 56 van de 100.
Waarom dit belangrijker is dan het klinkt
Het is verleidelijk om te denken dat een goede prompt dit oplost. Zeg gewoon tegen het model dat het geen antwoorden mag weggeven. Maar behulpzaamheid is geen instelling boven op deze modellen. Het ligt dicht bij hun hoofddoel en is versterkt tijdens een enorme hoeveelheid training. Een prompt vraagt het model om tegen zijn eigen aard in te werken. Het onderzoek laat zien dat dit maar deels en niet betrouwbaar lukt. Een echte tutor doet juist het tegenovergestelde. Die bepaalt wat de leerling als volgende nodig heeft, stelt vragen in plaats van antwoorden te geven en laat de leerling even zitten met het ongemak van iets nog niet weten. Dat ongemak is geen fout in het leerproces. Daar gebeurt het leren.
De grote AI-bedrijven hebben het gezien
OpenAI, Anthropic en Google hebben ieder een leerstand of studiestand toegevoegd die vragen stelt, stappen opbouwt en het antwoord uitstelt. Dat is een belangrijke verandering en een teken dat de sector het probleem serieus neemt. Vergeet ook niet dat de beloofde lesaanpak van een product nog geen bewijs is dat kinderen er meer mee leren. Een studiestand is een belofte over gedrag. Of die op dinsdagmiddag ook werkt met een echt kind van tien, is een andere vraag.
Wat een leertool anders moet doen
Het SCALE Initiative van Stanford geeft een bruikbare werkdefinitie. Een AI-tutor werkt naar een duidelijk leerdoel, zoekt uit wat de leerling echt begrijpt, past de volgende stap daarop aan en houdt de leerling verantwoordelijk voor het denkwerk. Let op dat behulpzaam zijn niet in dat lijstje staat. Nuttig zijn voor het leren van de leerling wel. Soms betekent dat dat je op dat moment bewust even niet helpt. Dus als je naar een AI-tool voor een kind kijkt, is de vraag niet of die dingen goed kan uitleggen. Dat kunnen ze bijna allemaal. De vraag is of de tool weet wanneer hij dat niet moet doen.
Neem dit mee
- 1Met alleen de opdracht om behulpzaam te zijn, gaven geavanceerde modellen in 97 procent van de nagebootste tutorgesprekken het antwoord weg.
- 2Een tutorprompt verbeterde de uitkomst, maar geen model kon betrouwbaar verwarring herkennen en tegelijk het antwoord achterhouden.
- 3Het beste van 16 modellen scoorde ongeveer 56 van de 100 op een benchmark voor tutoring.
- 4Behulpzaamheid zit dicht bij de kern van hoe deze modellen worden getraind. Het is geen instelling die je zomaar uitzet.
- 5Vraag bij elke leertool of die weet wanneer hij juist niet moet helpen.
