Er is een resultaat in onderzoek naar AI en onderwijs dat steeds terugkomt. In verschillende landen, bij verschillende leeftijden en met verschillende tools. Leerlingen met een algemene AI-chatbot doen het beter bij het werk dat voor hen ligt. Dan verdwijnt de chatbot en doen ze het slechter dan leerlingen die er nooit een hadden. Het loont om te begrijpen waarom, want dat verandert wat een goede AI-leertool moet doen.
Het experiment
Onderzoekers voerden een gerandomiseerd veldexperiment uit met bijna 1.000 middelbare scholieren bij wiskunde. Eén groep kreeg een standaard GPT-4-chatinterface om te helpen bij oefenopgaven. Een andere groep kreeg een versie met grenzen, die de uitwerkingen van de leraar had en hints moest geven in plaats van antwoorden. Een derde groep kreeg niets. Tijdens het oefenen verhoogde de standaard chatbot de prestaties met 48 procent. De tutor met grenzen verhoogde ze met 127 procent. Toen werd de AI weggehaald en maakte iedereen een toets zonder hulp. De leerlingen die de standaard chatbot hadden gebruikt scoorden 17 procent lager dan de leerlingen die nooit AI hadden gehad. De groep met grenzen deed het ongeveer even goed als de controlegroep. Niet slechter. Maar ook niet beter.
Een algemene chatbot verhoogde oefenscores met 48 procent en verlaagde toetsscores zonder hulp met 17 procent.
Het is geen eenmalige uitschieter
Een analyse in The Economist keek naar onderzoek onder 27.000 leerlingen van 12 tot 18 jaar in China. Leerlingen die AI gebruikten voor schoolwerk haalden 18 procent hogere huiswerkcijfers en waren er minder tijd aan kwijt. Ze deden het ook 20 procent slechter op toetsen dan leerlingen die geen AI gebruikten. In een proef op zeven Engelse scholen, uitgevoerd door Cambridge University Press and Assessment samen met Microsoft Research, bestudeerden 344 leerlingen van 14 en 15 jaar geschiedenisteksten met een AI-chatbot of door aantekeningen te maken. Drie dagen later, getest zonder hulpmiddelen, wonnen de aantekeningenmakers op elke maat. Wat ze zich herinnerden, wat ze begrepen en wat ze vrij konden ophalen.
De leerlingen voelden het niet gebeuren
Dit is het deel dat ouders het meest zou moeten zorgen baren. In de Engelse proef vonden de leerlingen de chatbot makkelijker en behulpzamer dan aantekeningen maken, en ze gaven er de voorkeur aan. Ze gebruikten hem ook niet lui. Negen van de tien vroegen om diepere uitleg, precies wat je zou hopen. Toch plakte één op de zes de woorden van de chatbot bijna letterlijk in de aantekeningen. En van de 4.929 vragen die de leerlingen stelden, gingen er precies zes over de vraag of de chatbot wel gelijk had. De tool die het meest behulpzaam voelde, leerde het minst. Onderzoekers noemen dit cognitieve schuld. Het systeem verbetert wat een leerling vandaag maakt, zonder op te bouwen wat die morgen nodig heeft.
Waarom dit gebeurt
Wanneer een leerling een vraag over een tekst moet beantwoorden of een opgave moet uitwerken, moet die selecteren, verbinden en dingen in eigen woorden zetten. Die inspanning ís het leren. Het is ongemakkelijk en langzaam, en dat hoort zo. Een algemene chatbot is ontworpen om precies die inspanning weg te nemen. Hij is gebouwd om behulpzaam te zijn, en dat betekent meestal het probleem zo snel mogelijk oplossen. Voor een volwassene die een taak af wil hebben is dat prima. Voor een kind dat wil leren krijgt de machine de oefening en het kind het antwoord.
Waar je in plaats daarvan op let
De tutor met grenzen uit het wiskunde-experiment wijst naar de oplossing, maar ook naar de grenzen daarvan. Voorkomen dat de AI antwoorden weggeeft, voorkwam de schade. Het leverde niet automatisch winst op. Geen schade aanrichten is het minimum, niet het doel. Kijk daarom bij elke AI-leertool voor je kind naar drie dingen. Wie doet het denken, het kind of de machine? Stelt de tool het kind vragen, of beantwoordt hij vooral vragen? En zou je kind het na een maand gebruik beter doen op een toets zonder de tool? Als een tool op die laatste vraag geen duidelijk antwoord kan geven, is voorzichtigheid op zijn plaats.
Neem dit mee
- 1Een algemene chatbot verhoogde oefenscores met 48 procent en verlaagde toetsscores zonder hulp met 17 procent.
- 2Bij 27.000 leerlingen scoorden AI-gebruikers 18 procent beter op huiswerk en 20 procent slechter op toetsen.
- 3Leerlingen vonden de chatbot behulpzamer terwijl ze er minder van leerden.
- 4Voorkomen dat AI antwoorden geeft, voorkomt schade. Het creëert niet vanzelf leren.
- 5Vraag bij elke tool: wie doet het denken, het kind of de machine?
