ChatGPT kan skrive kode. Nu siger forskerne, at den også er god til at rette fejl.

OpenAI's ChatGPT chatbot kan rette softwarefejl meget godt, men dens nøglefordel i forhold til andre metoder og AI-modeller er dens unikke evne til dialog med mennesker, hvilket giver den mulighed for at forbedre præcisionen af ​​et svar.

Forskere fra Johannes Gutenberg University Mainz og University College London satte OpenAI's ChatGPT op mod "standard automatiserede programreparationsteknikker" og to dyb-læringsmetoder til programreparation: CoCoNut, udviklet af forskere fra University of Waterloo i Canada; og Codex, OpenAI's GPT-3-baserede model, der er grundlaget for GitHub's Copilot parprogrammerings automatiske kode-fuldførelses-service.

Også: Sådan kommer du i gang med at bruge ChatGPT

"Vi finder, at ChatGPT's evne til at rette fejl er konkurrencedygtig i forhold til de almindelige deep learning tilgange CoCoNut og Codex og bemærkelsesværdigt bedre end resultaterne rapporteret for de konventionelle programreparationsmetoder," skriver forskerne i en ny arXiv-artikel, som først blev bemærket af New Scientist.

De bedste AI chatbots: ChatGPT og andre interessante alternativer at prøve

AI chatbots og forfattere kan hjælpe med at lette din arbejdsbyrde ved at skrive e-mails og essays og endda lave matematik. De bruger kunstig intelligens til at generere tekst eller besvare forespørgsler baseret på brugerinput. ChatGPT er et populært eksempel, men der er også andre værdifulde chatbots.

Læs nu

Det er ikke nyt, at ChatGPT kan bruges til at løse kodningsproblemer, men forskerne fremhæver, at dets unikke evne til dialog med mennesker giver det en potentiel fordel i forhold til andre tilgange og modeller.

Forskerne testede ChatGPT's ydeevne ved hjælp af QuixBugs bug-fixing benchmark. De automatiserede programreparations (APR) systemer ser ud til at være i ulempe, da de blev udviklet før 2018.

ChatGPT er baseret på transformer-arkitekturen, som Meta's AI-chef Yann LeCunn fremhævede denne uge blev udviklet af Google. Codex, CodeBERT fra Microsoft Research og dens forgænger BERT fra Google er alle baseret på Googles transformer-metode.

OpenAI fremhæver ChatGPT's dialogevne i eksempler til fejlfinding af kode, hvor det kan bede om afklaringer og modtage hints fra en person for at komme frem til et bedre svar. Det trænede de store sprogmodeller bag ChatGPT (GPT-3 og GPT 3.5) ved hjælp af reinforcement learning fra menneskelig feedback (RLHF).

Mens ChatGPT's evne til diskussion kan hjælpe det med at komme frem til et mere korrekt svar, er kvaliteten af dets forslag stadig uklar, bemærker forskerne. Derfor ønskede de at evaluere ChatGPT's evne til at rette fejl.

Forskerne testede ChatGPT mod QuixBugs' 40 Python-only problemer og tjekkede derefter manuelt, om den foreslåede løsning var korrekt eller ej. De gentog forespørgslen fire gange, fordi der er en vis tilfældighed i pålideligheden af ChatGPT's svar, som en professor fra Wharton fandt ud af efter at have udsat chatbotten for en eksamen af MBA-typen.

ChatGPT løste 19 ud af de 40 Python-fejl, hvilket placerer det på lige fod med CoCoNut (19) og Codex (21). Men standard APR-metoder løste kun syv af problemerne.

Forskerne fandt ud af, at ChatGPT's succesrate med opfølgende interaktioner nåede op på 77,5%.

Implikationerne for udviklere i form af indsats og produktivitet er dog tvetydige. Stack Overflow har for nylig forbudt ChatGPT-genererede svar, da de var af lav kvalitet, men lyder plausible. Wharton-professoren fandt ud af, at ChatGPT kan være en god følgesvend for MBA-studerende, da den kan spille en "smart konsulent" - en der producerer elegante, men ofte forkerte svar - og fremme kritisk tænkning.

"Dette viser, at menneskelig input kan være til stor hjælp for et automatiseret APR-system, hvor ChatGPT giver midlerne til at gøre det," skriver forskerne.

"Trods sin fantastiske præstation, opstår spørgsmålet om hvorvidt den mentale omkostning, der kræves for at verificere ChatGPT's svar, overskygger fordelene, som ChatGPT medbringer."