De Europese AI-verordening bindt leveranciers van educatieve AI aan vele regels, eisen en voorwaarden. Ook scholen krijgen hiermee te maken, soms zonder dat ze het doorhebben. “De wetgeving is onduidelijk en lastig te interpreteren.” Dat zegt Arjan Geurts, projectleider bij SIVON. Eind maart verschijnt het toetsingskader AI waarmee ze leveranciers én scholen een handje helpen.
De ontwikkelingen op het gebied van AI zijn niet te missen tijdens IPON 2026. De theatersessie van SIVON gaat in op de Europese AI-verordening.
De AI-verordening in fases
De Europese AI-verordening is gericht op de leveranciers van AI-toepassingen. En gaat over hoe zij veilige en verantwoorde AI moeten ontwikkelen. Voor scholen lijkt deze verordening in eerste instantie minder relevant, maar de realiteit is minder zwart-wit. “Die wetgeving is op dit moment nog onduidelijk of lastig te interpreteren”, aldus Arjan Geurts, projectleider bij SIVON.
Hoewel de AI-verordening al deels van kracht is, vindt in augustus dit jaar een belangrijk moment plaats wanneer de regels in werking treden voor de zogenoemde ‘hoog-risico’ toepassingsgebieden. Job Vos, jurist en expert op het gebied van privacy in het onderwijs bij SIVON, benadrukt de complexiteit van de verordening. “Dit laatste gedeelte is nog niet eens van kracht, maar er wordt nu alweer aan gesleuteld. Ze blijven zoeken naar een wetgeving die mensen het beste beschermt.”
Onderwijs als hoog risico
Het onderwijs wordt vaak gezien als een sector met ‘hoog-risico’. Dit heeft onder andere te maken met de impact die AI kan hebben op het leven van mensen, in dit geval kinderen. De verordening ziet AI-toepassingen als hoog risico als het op de volgende manieren wordt ingezet:
- voor het toelaten of toewijzen van leerlingen aan onderwijsinstellingen;
- voor het evalueren van leerresultaten;
- voor het beoordelen van passend onderwijsniveau;
- voor het monitoren en detecteren van ongeoorloofd gedrag tijdens toetsing.
Vos: “De vraag is: wat gaat de leerling ervan merken? In hoeverre bepaalt de software, waar AI voor wordt gebruikt, de impact op het leven van de leerling? Hoe meer invloed, hoe sneller er sprake is van hoog risico.”
Wiskundig voorbeeld
Om het belang van de impact te verduidelijken, geeft Vos een voorbeeld van adaptief leermateriaal via een AI-toepassing. “Iedere week maakt een leerling huiswerk. Bij drie vragen goed, worden de vragen moeilijker. Bij drie vragen fout makkelijker. Maar als een leerling elke week gemakkelijkere vragen krijgt, zit die leerling op een gegeven moment onder het niveau van de klas waar hij in zit.”
Het is voor leveranciers van educatieve AI dus van groot belang om na te denken hoe ze een tool inrichten. En voor scholen is het essentieel om zich bewust te zijn van de AI-toepassingen die zij gebruiken.
Geurts benadrukt daarbij dat hoog-risico toepassingen niet verboden zijn. “Het brengt extra maatregelen met zich mee. Je moet bijvoorbeeld goed nadenken over bias en uitsluiting. Je moet transparant zijn over wat de AI-toepassing doet en wat de risico’s zijn.”
Scholen die zelf aan de slag gaan
Het mooie van alle ontwikkelingen rondom AI is dat er veel mogelijk is, op een vrij gebruiksvriendelijke manier. Geurts: “Met vibe coding wordt het steeds eenvoudiger om zelf software te maken. We zien veel enthousiaste docenten die zelf aan de slag gaan om iets leuks te maken. In de basis hartstikke goed, maar het brengt ook uitdagingen met zich mee.”
Vos wil scholen ervoor behoeden dat ze ineens als aanbieder van de AI-tool worden gezien volgens de verordening. “Als je als school een nakijktool ontwikkelt op basis van ChatGPT, gebruik je ChatGPT voor een ander doel dan waarvoor het bedoeld is. Als school word je dan gezien als aanbieder. Dan geldt dat deel van de AI-verordening ook voor jou. En daar zijn scholen niet op voorbereid. Ga je buiten de lijntjes kleuren, dan moet je zelf uitzoeken of het wel verantwoord is.”
Over het toetsingskader AI
In opdracht van het Ministerie van OCW werkt SIVON, samen met de leveranciers, aan het opstellen van een toetsingskader dat gebruikt kan worden om te bepalen of, en wanneer, een AI-toepassing onder de AI-verordening valt en welke maatregelen er genomen worden.
Het toetsingskader richt zich op leveranciers, maar het gaat ook scholen helpen om te bepalen of een AI-toepassing veilig genoeg is of extra maatregelen nodig heeft. De eerste versie van het toetsingskader wordt eind maart gepubliceerd op de website van SIVON.
