ChatGPT tog en MBA-eksamen. Her er hvordan det gjorde

En professor ved Wharton, University of Pennsylvania har givet et teoretisk B-beløb til ChatGPT efter at have markeret de svar, det genererede til en afsluttende eksamen i et typisk MBA-kursus.

Christian Terwiesch, professor i driftsledelse ved Wharton, sagde, at ChatGPT gør et "fantastisk arbejde med grundlæggende driftsledelse og procesanalysespørgsmål."

"Ikke alene er svarene rigtige, men forklaringerne er fremragende," skriver han i en ny hvidbog.

Også: Sådan kommer du i gang med at bruge ChatGPT

Men han tilføjede, at chatbotten laver "overraskende fejl i relativt simple beregninger på niveau med matematik i 6. klasse", og at den i øjeblikket ikke kan håndtere mere avancerede procesanalysespørgsmål. På den anden side kan den nuværende version af ChatGPT ændre sine svar som svar på menneskelige hints for at nå frem til den korrekte løsning.

"I betragtning af denne præstation ville Chat GPT3 have modtaget en B til B-karakter på eksamen," skriver Terwiesch.

Flere af Terwieschs spørgsmål havde til formål at teste, om ChatGPT kunne identificere en flaskehals i en behandlingsoperation med flere maskiner, der har forskellige gennemløbskapaciteter.

ChatGPT "begik en væsentlig fejl af en massiv størrelsesorden" ved beregning med aritmetik på mellemniveau.

Interessant nok besvarede ChatGPT i første omgang forkert et af Terwieschs spørgsmål vedrørende køanalyse. Han anmodede det med et tip til et bedre svar, og ChatGPT forbedrede svaret. Den følgende dag stillede professoren det samme indledende kø-spørgsmål uden hint - og ChatGPT svarede korrekt på sit første forsøg.

"Enten er den i stand til at lære af tidligere feedback, eller også var jeg bare heldig," bemærker han og tilføjer, at der så ud til at være en vis tilfældighed i kvaliteten af dens svar.

Terwiesch fandt også ud af, at ChatGPT var i stand til at formulere smarte og humoristiske spørgsmål, som han kunne bruge i fremtidige eksamener. Chatbotten introducerede dog også subtile fejl i nogle spørgsmål, der gjorde dem umulige at besvare.

Også: ChatGPT 'manglede dybde og indsigt', siger prestigefyldte redaktører af videnskabeligt tidsskrift

Terwiesch advarer andre om at være opmærksomme på ChatGPTs muligheder og begrænsninger. Han siger, at han "blev forelsket" i ChatGPT efter at have læst svaret på hans første spørgsmål, men advarer om, at det "begik store fejl i nogle ret simple situationer."

"Vi er stadig langt fra et A+ for komplekse problemer, og vi har stadig brug for et menneske i løkken," skriver han.

"I mit syn på uddannelse skal en folkeskoleelev stadig lære, at 7 x 7 = 49, og at hovedstaden i Pennsylvania er Harrisburg, selvom lommeregnere har været meget brugt i over 50 år, og eleverne kan bruge Google Wikipedia til at finde svar for de fleste faktuelle spørgsmål. Det er de grundlæggende færdigheders natur, at de er nødvendige for at forstå mere avancerede emner."

Terwiesch er enig i, at undervisere bør være bekymrede over, at elever på grundskoleniveau kan bruge ChatGPT til at snyde opgaver og eksamener. For eksempel har New York City Department of Education for nylig forbudt chatbotten, fordi pålidelige tests er vigtige i undervisningen, mens færdighedscertificering ikke bør kompromitteres på grund af ny teknologi. En studerende, der bruger ChatGPT, er som at kunne ringe til en ven med "gennemsnitlig akademisk kompetence" for at gennemføre eksamen for dem, bemærker han.

Men han hævder også, at ChatGPT og lignende teknologier har evnen til at spille rollen som en "smart konsulent" - en, der producerer elegante, men ofte forkerte svar, som han mener er den "perfekte træningsplads" til at udvikle færdigheder blandt MBA-studerende, der har brug for kritisk at vurdere foreslåede alternativer.