‘Chat-GPT kan vooral goed bluffen’

“Het heeft wel iets weg van de uitvinding van de fotografie”, zei schrijver en dichter Hannah van Binsbergen maandag tijdens een bijeenkomst van de Koninklijke Nederlandse Akademie van Wetenschappen. “Kunstenaars zetten zich er tegen af of maakten juist gebruik van de nieuwe fotografische perspectieven.”

Het nieuwe chatprogramma schrijft op commando essays, literatuur en wetenschappelijke papers. Met zijn schijnbare alleskunnerij roept het programma allerlei vragen op. Kan de chatbot straks even goed schrijven als wij? Kan hij zelf nadenken en creatieve oplossingen aandragen? Wat betekent dit voor onderwijs en wetenschap?

Die verwondering en die vragen zijn begrijpelijk, reageert taaltechnoloog en cognitiewetenschapper Jelle Zuidema. “Het systeem achter de chatbot is de nieuwste generatie van de zogenoemde Large Language Models.” Wetenschappers zijn er al decennia mee bezig, maar in de laatste drie jaar gaat het zo hard dat de programma’s allemaal nieuwe vaardigheden hebben aangeleerd. Ze doen dat in dialoog met de input van gebruikers en programmeurs. 

Volgens Zuidema gaan zulke modellen de wereld veranderen. “Niet omdat ze zelf logisch kunnen nadenken maar omdat ze zijn ontworpen om in zoveel mogelijk gevallen te kunnen voorspellen wat er nodig is voor een mogelijk antwoord op een vraag.”

Zelfcensuur, dichten en politiek correcte antwoorden
Toch zijn er veel kanttekeningen te maken. Auteur Hannah van Binsbergen wees op de zelfcensuur die de programmeurs de chatbot hebben opgelegd. Het maken van literair sterke teksten is daardoor volgens haar vooralsnog onmogelijk. Antwoorden zijn vooral heel generiek. Ze vroeg ChatGPT bijvoorbeeld wat de chatbot voor schrijvers kon betekenen. En die antwoordde onder meer dat hij kan helpen door “culturele horizonten te verbreden en uit te breiden wat het begrip van literatuur kan zijn”. Dat klinkt veelbelovend, maar wat het concreet betekent blijft in het midden. 

Er zijn volgens haar ook andere problemen. “Teksten generen kan het programma goed, maar zich verhouden tot stijl en vorm nauwelijks.” Zo vroeg ze ChatGPT om een gedicht in de stijl van Lucebert te schrijven en kwam er een half rijmend gedicht uit, wat volgens Van Binsbergen niets met de dichter van doen had.

Verder wordt de chatbot getraind met behulp van onderbetaalde Keniaanse proefgebruikers om politiek correcte antwoorden te geven. “Sterker nog”, zei de Leidse filosoof Victor Gijsbers, “het programma kan helemaal geen antwoord geven op politiek gevoelige of morele vragen”. En als je hem vraagt waarom niet, “dan antwoordt hij dat het belangrijk is dat mensen hun eigen mening vormen.”   

V.l.n.r. Gespreksleider Maghiel van Crevel, Jelle Zuidema, Victor Gijsbers en Hannah van Binsbergen, foto HOP 

Waarheidsvinding is niet belangrijk
Dat bracht Gijsbers bij een gevoelig punt. Volgens hem is de chatbot niet geprogrammeerd voor waarheidsvinding. Terwijl eerdere kunstmatige intelligente systemen dat wel waren. OpenAI, het bedrijf achter ChatGPT zou dat niet belangrijk vinden. Gijsbers legde de chatbot bijvoorbeeld een probleem voor dat door een programma uit de jaren zestig al was opgelost. De chatbot kwam meermaals met foutieve antwoorden. Ook doet het programma nu en dan vreemde dingen. “Als je ChatGPT tien keer vraagt wat de hoofdstad van Nederland is dan zegt hij negen keer Amsterdam en één keer Rotterdam.”

Het produceren van samenhangende stukken tekst die feitelijk kloppen, is ook volgens taaltechnoloog Zuidema vaak nog te veel gevraagd. De chatbot probeert zich in zijn antwoord op bestaande webteksten te baseren, maar als dat niet lukt bluft hij zich erdoorheen en vult hij onzin in. Bronnen worden daarbij niet vermeld. Een nieuw online programma van Microsoft-zoekmachine Bing probeert het andersom te doen en eerst bronnen te zoeken bij het antwoord, zegt Zuidema. “Hoewel de samenhang en schifting van de informatie dan nog niet altijd goed is, valt in elk geval na te gaan waar de informatie vandaan komt.”

Toetsen met pen en papier
Studenten lijken de nieuwe techniek in ieder geval massaal te omarmen en schrijven hele essays met ChatGPT. Worden zij nog wel aangemoedigd om kritisch te denken? “Ja, voor docenten is dit geen pretje”, grapt Gijsbers. “Daarom moeten we kennis anders gaan toetsen. Gewoon weer met pen en papier in een tentamenzaal.”

Maar er zijn ook voordelen voor docenten. “Het kost nu heel veel tijd en moeite om aan studenten uit te leggen hoe ze een essay moeten schrijven. Binnen afzienbare tijd komen er programma’s beschikbaar die daar erg behulpzaam bij zullen zijn.”

Iemand uit het publiek vroeg of ChatGPT tijdens het symposium een even goed praatje had kunnen voorbereiden als de sprekers zelf. Die dachten van niet. Volgens filosoof Gijsbers moet een spreker een verhaal vertellen dat klopt en dat waarde heeft voor het publiek. “Ik denk dat er in de verhouding tussen u en mij iets heel anders aan de hand is dan in de verhouding tussen u en de technologie.”