Chattrobot klarade juridiktenta

Den uppmärksammade chattroboten Chat GPT har klarat en juridiktentamen på universitetsnivå. Men den var långt ifrån bäst i klassen.

Jonathan Choi, professor i juridik vid Minnesota University, lät Chat GPT göra samma tenta som hans elever. Den bestod av 95 frågor med svarsalternativ och tolv uppsatsfrågor.

”I uppsatsskrivandet visade Chat GPT en stark förståelse för grundläggande juridiska regler och hade konsekvent en stabil organisation och komposition”, skriver Choi i en sammanfattning av hur det gick.

Men roboten hade svårt att svara på öppna frågor, ”vilket är en grundläggande förmåga att ha i juridiska skoluppgifter”.

Betyget: C+, på den amerikanska skalan som går från A till F. Godkänt, men inte så mycket mer.

Korrekt men repetitiv

Chat GPT, som har tagits fram av det amerikanska företaget Open AI, kan generera mängder av text på kort tid utifrån enkla direktiv och olika variabler. Svaren bygger på stora samlingar av uppgifter, data, på nätet som roboten har fått läsa in. Dess förmåga har redan väckt stora frågor om hur skrivuppgifter av olika slag ska genomföras i framtiden.

I skolor på olika håll i USA har Chat GPT redan förbjudits, då det befaras att elever ska låta den skriva uppgifter och uppsatser åt dem, eller svara på frågor.

Två av tre rättare lyckades peka ut vilken tenta som hade skrivits av Chat GPT, med hänvisning till att den hade fläckfri grammatik men också var något repetitiv. Professor Jonathan Choi bedömer att den snarare kan vara en värdefull medhjälpare.

”Överlag var Chat GPT ingen bra juridikstudent på egen hand”, skriver han på Twitter, men tillägger att språkmodeller av dessa slag kan vara till stor användning när den används som stöd av juridikelever eller verksamma advokater.

Högre betyg framöver?

Chat GPT ser själv förbättringsområden.

TT: Hur kan en chattrobot som du förbättras och skriva bättre juridiktentamen?

”Chattrobotar som jag kan bli bättre på att skriva uppsatser i juridiktentamen genom att kontinuerligt tränas med en varierad uppsättning juridiska texter, rättspraxis och juridisk terminologi”, svarar Chat GPT.

”Dessutom kan man genom att inkorporera maskininlärningstekniker såsom generering av naturligt språk och maskinell textförståelse förbättra förmågan att förstå och svara på specifika direktiv eller frågor. Ju mer uppgifter och information som matas in i modellen, desto mer exakta och förståeliga blir svaren.”

Roboten tillägger dock att det också är viktigt att en människa ser över svaren, ”då det resultat som genereras av modellen kan utvärderas och rättas av en juridisk expert”.