Kan ChatGPT bestå jurauddannelsen?

ChatGPT og eksamen i advokaturen

Advokateksamen er en streng test, der vurderer viden og ræsonnementsevne gennem essays, præstationsopgaver og flervalgsopgaver. Den er en standardiseret test, der anvendes af mange amerikanske jurisdiktioner som en del af deres adgangsproces til advokatstanden. Den består af tre dele, der vurderer en kandidats viden om almindelige retsprincipper, evne til at anvende retsprincipper på specifikke faktamønstre og evne til at løse juridiske opgaver.

Denne eksamen er designet til at give advokater mulighed for at få licens i flere stater uden at skulle tage bareksamen i hver stat. Den bestående score fastsættes af hver enkelt myndighed, og eksamensresultater kan overføres til andre statsmyndigheder, underlagt hver myndigheds regler og krav.

GPT-3.5 og GPT-4, de store sprogmodeller fra OpenAI, som ChatGPT er bygget på, har evnen til at udføre vanskelige opgaver, der kræver omfattende juridisk viden, læseforståelse og skrivefærdigheder. De er endda i stand til at opfylde standarden for menneskelige jurister i næsten alle amerikanske jurisdiktioner. The National Conference of Bar Examiners, som har skabt flervalgssektionen, har bemærket, at jurister besidder unikke evner, der opnås gennem uddannelse og praksis, som kunstig intelligens i øjeblikket ikke kan matche.

Hvordan klarede ChatGPT sig i advokateksamenen?

Tidligere på året gennemførte forskere fra Illinois Tech og Michigan State College of Law en undersøgelse, hvor det blev konstateret, at ChatGPT 3.5 bestod i to kategorier af den multistate bar eksamen (MBE) og præsterede på niveau med menneskelige testtagere i en anden kategori. Dette demonstrerer dens generelle forståelse af det juridiske område. I en anden undersøgelse, udført af OpenAI-forskere, klarede ChatGPT sig godt i bareksamenen og scorede i 90. percentilen. Den besvarede næsten 76% af flertrinsopgaverne korrekt, hvilket er en forbedring fra ChatGPT’s tidligere 50%, og overgik den gennemsnitlige menneskelige testtager med mere end 7%.

ChatGPT var i stand til at generere essay- og præstationstest-svar, der var mest relevante og logisk forbundne. Tærsklen for at bestå advokateksamen varierer fra stat til stat, og i New York kræves en score på 266, hvilket svarer til cirka 50. percentil, for at bestå. Resultaterne fra ChatGPT antyder, at evnerne hos store sprogmodeller udstrækker sig til komplekse opgaver, der kræver betydelig juridisk viden, forståelse og skriveevne. Disse modeller opfylder standarden, der gælder for menneskelige advokater i næsten alle jurisdiktioner i USA.

Bestod ChatGPT en advokateksamen?

ChatGPT bestod den ensartede eksamen for advokater.

Hvad er den øverste 1% beståelsesprocent for advokateksamen?

300 er cirka den øverste 90. percentil, mens en score på 330 er omkring den øverste 1%.