Isabella van den Berg Tech 1 feb 2023, 09:56

Leestijd: 3 minuten

Is AI ons te slim af? Chatbot slaagt voor universitaire examens van rechten- en businessscholen

Kunstmatige intelligentie (AI) inzetten om je huiswerk te maken. Met de opkomst van de chatbot ChatGTP gebeurt het steeds vaker en heeft het zich inmiddels uitgebreid tot verschillende onderwijsniveaus. Er werd getest hoe goed de AI chatbot universitaire examens kan afleggen. Dat ging best aardig…

ChatGPT blijkt slim genoeg om te slagen voor prestigieuze examens op universiteitsniveau – hoewel niet met bijzonder hoge cijfers. Om te testen hoe goed ChatGPT antwoorden kon genereren op examens voor juridische examens in vier vakken, beoordeelden professoren van de University of Minnesota Law School de tests blind.

Laag cijfer, maar wel geslaagd

Na het invullen van 95 meerkeuzevragen en 12 essayvragen, presteerde de bot gemiddeld op het niveau van een C+ (ongeveer een 6,5 in het Nederlandse cijfersysteem). Een redelijk laag, maar wel geslaagd, cijfer voor alle vier de tests. Ook een ander examen aan de Wharton School of Business van de Universiteit van Pennsylvania werd door de chatbot gehaald.

ChatGPT deed het beter tijdens een examen van een cursus bedrijfsbeheer op Wharton, waar het een B tot B- cijfer (ongeveer een 7,5) behaalde. Christian Terwiesch, een Wharton business professor, zegt tegen CNN dat ChatGPT „geweldig werk” leverde bij het beantwoorden van basisvragen over operations management en procesanalyse, maar moeite had met meer geavanceerde vragen en „verrassende fouten” maakte bij basiswiskunde.

Doel van de tests

Jon Choi, een van de professoren rechten van de Universiteit van Minnesota, vertelde aan CNN dat het doel van de tests was het potentieel van ChatGPT te onderzoeken. Om advocaten bijvoorbeeld te helpen in hun praktijk of om studenten te helpen bij examens, of het nu is toegestaan door hun professoren of niet. Dit omdat de vragen vaak het schrijven van advocaten in het echte leven nabootsen.

„ChatGPT worstelde met de meest klassieke onderdelen van examens van de rechtenfaculteit, zoals het spotten van potentiële juridische problemen en diepe analyse waarbij wettelijke regels worden toegepast op de feiten van een zaak”, zei Choi. „Maar ChatGPT kon zeer nuttig zijn bij het produceren van een eerste opzet die een student vervolgens kon verfijnen.” Hij stelt dat de samenwerking tussen mens en AI voor ChatGPT en soortgelijke technologie veelbelovend is.

‘Arts heeft kennis van geneeskunde nodig, niet van chatbots’

Wharton’s Terwiesch vindt ook dat de chatbot „opmerkelijk goed” is in het aanpassen van zijn antwoorden in reactie op menselijke hints, zoals het bewerken van antwoorden na het aanwijzen van een fout. Wat volgens de professor het potentieel voor mensen om samen te werken met AI suggereert.

Aangezien ChatGPT bij het examen bovengemiddeld presteerde, zei Terwiesch tegen CNN dat hij het ermee eens is dat er beperkingen moeten komen voor studenten als zij toetsen maken. „Verboden zijn nodig,” stelt hij. „Als je een arts een diploma geeft, wil je dat hij kennis heeft van geneeskunde, niet hoe hij een bot moet gebruiken. Hetzelfde geldt voor andere vaardigheidscertificaten, waaronder rechten en business.”

Waarvoor staat de ‘i’ in iPhone en iPad? Dit antwoord gaf Steve Jobs