Opkomst ChatGPT leidt niet tot veel fraudezaken

De examencommissie Geowetenschappen zat begin dit jaar even flink met de handen in het haar. De leden hadden nog nauwelijks vernomen van het bestaan van ChatGPT of een docent meldde vermoedens van fraude bij meerdere groepjes in een cursus van het departement Sustainable Development. Studenten zouden hun korte essays met behulp van kunstmatige intelligentie hebben geschreven.

De commissie wil niet in detail treden over de zaak, maar meldt dat ze na verschillende hoorzittingen en na advies van een expert en een UU-jurist constateerde dat fraude uiteindelijk “onvoldoende aantoonbaar” was. De studenten kregen geen sanctie opgelegd.

Het was meteen de enige zaak die te maken had met ChatGPT of andere misbruik van Artificial Intelligence (AI) waar de examencommissie tot dusver mee te maken kreeg.

Geen hausse
Het “oneigenlijk” gebruik van ChatGPT en aanverwante bots wordt door de UU aangemerkt als fraude of plagiaat. In het Onderwijs en examenreglement (OER) wordt dat laatste omschreven als: “ … het handelen of nalaten van studenten waardoor er een onjuiste weergave is van hun eigen prestaties op het gebied van kennis, vaardigheden en inzicht, wat ertoe kan leiden dat de examinator niet meer in staat is het kennen of kunnen van de studenten op een correcte en eerlijke wijze te beoordelen”.

Maar wie verwachtte dat de intrede van AI-bots tot een hausse aan fraudezaken bij examencommissie zou leiden, heeft het mis. Uit een korte rondgang van DUB blijkt dat docenten maar weinig zaken hebben gemeld.

Examencommissies laten aan DUB weten dat er maar een beperkt aantal zaken zijn waarbij studenten tegen de lamp liepen. Voor het overige deden zij eveneens in een klein aantal gevallen  onderzoek naar vermoedens van fraude. Daarbij had verder geen van de zaken die aan DUB gemeld werden de omvang van de casus bij Geowetenschappen

Berisping
“Er zijn op dit moment nog geen officiële fraude/plagiaat meldingen gedaan ten aanzien van het oneigenlijk gebruik van ChatGPT”, meldt de examencommissie van de faculteit Sociale Wetenschappen bijvoorbeeld. Ook de commissie van Scheikunde hoefde niet aan de slag met een casus.

De examencommissie van Economie deed eveneens geen enkele uitspraak. Wel werden leden gevraagd om mee te denken met een docent die verdenkingen had. “In beide gevallen was het onvoldoende aantoonbaar om een zaak te starten.”

Bij de graduate school van Informatica en Informatiekunde werd een student berispt die een literatuuroverzicht van een bachelorscriptie had laten schrijven door ChatGPT. “Dit was eenvoudig te ontdekken want de meeste verwijzingen waren nep.”

Bij Rechten werd een paper van een student ongeldig verklaard omdat daarin teksten van ChatGPT gebaseerd op niet-bestaande bronnen stonden. Daarbij werd deze commissie werd door een docent gevraagd mee te kijken of een verdenking van het gebruik van ChatGPT kon worden vastgesteld, maar hier waren er onvoldoende aanknopingspunten.

De examencommissie van Geesteswetenschappen wil niet vertellen hoeveel zaken van (vermoedens) van fraude zij heeft behandeld. “Een beperkt aantal”, zo wordt gesteld.

Zonder uitzondering ging het hierbij om het gebruik van ChatGPT voor het schrijven van schriftelijke werkstukken. Over de opgelegde straffen zegt de commissie slechts dat werkstukken ongeldig zijn verklaard en dat “afhankelijk van de omvang van de fraude” studenten ook verwijderd zijn uit cursussen.

De examencommissie van Geesteswetenschappen laat weten dat docenten het advies kregen om eerst in gesprek te gaan met studenten als ze vermoeden dat deze ChatGPT hebben gebruikt.

Een vervelend limbo
Volgens hoogleraar Taal, Communicatie & Computatie Antal van den Bosch blijft de bewijslast een probleem. Dat is ook wat hij de faculteit Geowetenschappen voorhield toen hij werd geraadpleegd als expert in de casus met de studenten Sustainable Development. “Er is op dit moment eenvoudigweg geen betrouwbare detectie van het gebruik van ChatGPT mogelijk.”

Hij sluit niet uit dat dat ook een reden voor docenten is om de lastige stap naar de  examencommissie te vermijden. “We zitten wat dat betreft in een vervelend limbo.”

Van den Bosch riep onlangs in een podcast van DUB studenten op om vooral zo snel mogelijk vertrouwd te geraken met de mogelijkheden die AI biedt. Tegelijkertijd ziet hij dus dat het risico van misbruik op toetsmomenten vergroot is.

“Maar ik zou niet durven beweren dat er nu veel meer gefraudeerd wordt dan voorheen. Mogelijkheden om plagiaatdetectie te omzeilen, bestonden altijd al. Met een Engelstalige tekst door Google Translate halen en in het Nederlands inleveren, lukt dat vaak ook al.”

Volgens Van den Bosch moeten studenten ook beseffen dat plagiaat met behulp van AI-bots nu niet is vast te stellen, maar misschien in de nabije toekomst wel. Er wordt her en der bijvoorbeeld al gesproken over de mogelijkheid dat deze bots de ‘watermerken’ van oudere versies gaan vrijgeven, waardoor er wel mogelijkheden voor plagiaatdetectie komen. Dan zouden studenten met terugwerkende kracht tegen de lamp kunnen lopen.

Bredere rol
De examencommissie van Geesteswetenschappen erkent dat het risico op fraude groter lijkt te zijn geworden, maar ziet ook dat docenten daar steeds bewuster van zijn. “De oplossing ligt voor een belangrijk deel in het aanpassen van toetsing zodat het niet mogelijk is om ongeoorloofd gebruik te maken van ChatGPT.”

De Geesteswetenschappers benadrukken daarnaast dat examencommissies er niet alleen zijn om “fraude te bestrijden” maar ook om de kwaliteit van de toetsing in de gaten te houden. Op dit moment vinden er volop gesprekken plaats over de invloed van AI daarop. Daarbij speelt bijvoorbeeld ook de vraag of getoetst moet worden of studenten zelf voldoende AI-vaardigheden hebben. “Het ligt voor de hand dat in de komende jaren nog veel vraagstukken op dit vlak de revue zullen passeren.”

Ook de examencommissie van Sociale Wetenschappen wijst op de bredere rol van de examencommissie. “Wij gaan er vanuit dat de ontwikkelingen op het gebied van AI alleen maar verder zullen gaan. Vanuit dat oogpunt wordt er binnen de examencommissie vooral nagedacht over hoe studenten en docenten om moeten en mogen gaan met ChatGPT.”

DUB vroeg ook de leden van ons DUB-panel naar hun ervaringen rond misbruik van ChatGPT. Innovatiewetenschapper Frank van Rijnsoever weet zeker dat studenten de afgelopen tijd gebruik (“en wellicht ook misbruik”) hebben gemaakt van de nieuwe mogelijkheden. Maar ook hij wijst erop dat misbruik lastig te bewijzen is.

Zelf heeft hij zijn toetsing al aangepast: “Dus schriftelijke gesuperviseerde toetsen in Remindo, vrije verslagen over vrij specifieke onderwerpen,  of een mondelinge toelichting op een ingeleverd product.”

Opmerkelijk is dat er ook student-panelleden zijn die weinig gemerkt hebben van ChatGPT. Student Psychologie Levi Bierhuizen mailt bijvoorbeeld: “Binnen mijn opleiding maken studenten er af en toe een grapje over, maar ik heb nog van niemand gehoord dat zij ChatGPT ook daadwerkelijk gebruiken. Wellicht komt dit door het type papers en onderzoeken. Bovendien is het natuurlijk wel bekend dat misbruik van ChatGPT wordt gezien als fraude en plagiaat.”

Enkele andere panelleden verdedigen vooral het standpunt dat ChatGPT niet moet worden gezien als een bedreiging.

Geneeskundestudent Thomas Visser stelt: “De toegevoegde waarde zit hem denk ik vooral in het feit dat chatGPT je kan helpen om in de juiste richting te zoeken. Daarbinnen blijft er voor de student genoeg ruimte om te leren. En als met de huidige versie misbruik is gemaakt, kan het naar mijn ervaring niet met opdrachten van een erg hoog niveau zijn geweest.”

Masterstudent Urban & Economie Geography Marte Vroom mailt: “Het is belangrijk dat er serieus wordt gekeken naar ChatGPT en dat men goed gaat vastleggen wat nu wel en wat nu niet als “fraude” wordt gezien. Ik zou de universiteit echter ook willen meegeven dat ChatGPT voor zowel studenten als personeel een fantastisch ondersteunend middel kan zijn.”