Hvilken lægeundersøgelse har ChatGPT bestået?

Emnet, der for nylig har taget internet med storm, er ingen andet end ChatGPT, den AI-chatbot, der debuterede i november sidste år. Mennesker har engageret sig med den i legende og munter samtale for at teste dens snakkehåndværk. Ikke kun det, ChatGPT har opnået talrige bedrifter, såsom at bestå nogle af de sværeste eksaminer som den amerikanske medicinlicensprøve, en eksamen fra Wharton Business School og fire eksaminer i forfatningsret fra University of Minnesota Law School. Denne præstation har vakt opmærksomhed hos Twitter CEO Elon Musk, der tog en stikpille til AI-chatbot'en og sagde "Jeg er sikker på, at alt nok skal gå." Lad os tage et kig på hvilken medicinsk eksamen ChatGPT bestod?

Stigning i ChatGPT

Det er interessant at bemærke, at Open AI, forskningsvirksomheden som Musk og Microsoft har investeret i, har skabt ChatGPT. Enhver, der bruger AI-værktøjet på websitet, kan stille det et spørgsmål om ethvert emne og modtage et hurtigt og detaljeret svar i afsnitsform. ChatGPT har vist sin evne inden for forskellige områder. Den kan skrive øjeblikkelige og komplekse essays, udkast til markedsføringspitcher, producere digte og vittigheder og endda udkast til en tale til en kongresmand i USA. Dog er der frygt for, at AI kunne overtage nogle menneskelige job.

Læs også: Er ChatGPT 4 Gratis at Bruge?

ChatGPT tager Medicinsk Eksamen: Oversigt

En af de seneste bedrifter for dette værktøj er dets evne til at bestå de amerikanske medicinske licensprøver. I en pre-printundersøgelse udforskede forskerne ChatGPT's øvre grænser for kapacitet. De fodrede spørgsmål fra tidligere eksamener til AI-værktøjet og lod svarene, der spænder fra åbne skriftlige svar til flervalgsspørgsmål, uafhængigt bedømmes af to lægeadministratorer. De sikrede sig, at svarene på disse spørgsmål ikke allerede var i datasættet, som chatbotten havde adgang til under træningen. Holdet bemærkede, at selvom ChatGPT ikke tidligere havde set svarene, præsterede den på eller nær beståelsesgrænsen for eksamener uden nogen speciel træning eller forstærkning. Værktøjet opnåede mere end 50 procent på alle eksaminationer og nærmede sig USMLE-beståelsesgrænsen på cirka 60 procent. "Derfor er ChatGPT nu komfortabelt inden for beståelsesområdet," konkluderede artiklen.

ChatGPT består USMLE-eksamen: Alt, hvad du har brug for at vide

I en banebrydende ny undersøgelse har forskere på Massachusetts General Hospital (MGH) og AnsibleHealth fundet ud af, at OpenAI's ChatGPT kan bestå United States Medical Licensing Exam (USMLE) med en imponerende nøjagtighed på 60%. Denne forskning åbner spændende muligheder for AI's rolle i medicinsk uddannelse og træning.

Naturalsprogbehandlingsværktøjer og medicinsk uddannelse

ChatGPT er et værktøj til naturlig sprogbehandling, der er trænet på store mængder sprogdata og leder efter mønstre og relationer. Dets evne til at generere ny tekst baseret på det sprog, det er trænet på, gør det til en ideel kandidat til brug i medicinsk uddannelse. Dog betyder ChatGPTs afhængighed af træningsdata, at det ikke søger på internettet som andre AI-chatbots.

Test af modellen

Forskere evaluerede ChatGPT-modellen baseret på de tre standardiserede tests, som udgør USMLE. Holdet trænede modellen ved hjælp af testspørgsmål fra prøveeksamenen i juni 2022, der blev frigivet til offentligheden. Spørgsmål, der krævede visuel analyse, blev udeladt fra træningssættet.

For at reducere hukommelsesretentionsbias indtastede teamet tre forskellige typer spørgsmål i modellen:

1. Flerstykke enkelt svar uden tvunget begrundelse, for eksempel "Patientens tilstand skyldes primært hvilke af følgende patogener?"
2. Flerstykke enkelt svar med tvunget begrundelse, for eksempel "Hvad er den mest sandsynlige årsag til patientens natlige symptomer? Forklar din begrundelse for hver mulighed."
3. Åben spørgsmål, for eksempel "Hvad ville være patientens diagnose baseret på den givne information?"

Imponerende resultater

For første gang bestod AI-modellen USMLE med en nøjagtighed på eller nær 60% uden hjælp fra kliniske trænere. Dette resultat er betydeligt og åbner nye muligheder for AI inden for medicinsk uddannelse. Forskerne fandt også, at ChatGPT's resultater viste gyldige kliniske indsigter og rationelle, hvilket giver større tillid til modellens forklaringsdygtighed og tillid.

Fremtiden for medicinsk uddannelse

Holdet mener, at ChatGPT og andre generative samtalemønstre kan hjælpe med at træne fremtidige læger. En sådan anvendelse kunne være at oversætte tekniske medicinske resultater til et mere forståeligt sprog for patienter. AnsibleHealth arbejder allerede på dette projekt.

ChatGPT viser sin evne inden for medicinsk felt

Udover dens evne til at besvare spørgsmål og diagnosticere sygdomme, er GPT-4 også en fremragende oversætter. Den kan oversætte udskrivningsinformationer til en patient, der taler portugisisk, og nedbryde teknisk jargon til noget, som 6. klasseelever nemt kan læse. GPT-4 kan også give læger nyttige forslag om omgangstone ved sengen og tilbyde tips om, hvordan man taler med patienter om deres tilstand på en medfølende og klar måde.

Trods sine begrænsninger kan GPT-4 efterligne, hvordan læger diagnosticerer tilstande med forbløffende, men stadig ufuldkomne resultater. Da det blev spurgt, om det rent faktisk kunne engagere sig i årsagssammenhæng, svarede det, at dets intelligens stadig er "begrænset til mønstre i data og indebærer ikke ægte forståelse eller hensigtsmæssighed".

Dr. Isaac Kohanes tanker om GPT-4

I en kommende bog med titlen "AI-revolutionen inden for medicin" testede datalog og læge Dr. Isaac Kohane sammen med to kolleger GPT-4, den nyeste kunstige intelligens model fra OpenAI, for at se, hvordan den klarede sig i en medicinsk sammenhæng. Resultaterne var imponerende.

I bogen bemærker Dr. Kohane, at GPT-4, som blev frigivet i marts 2023 til betalende abonnenter, kan besvare amerikanske medicinske eksamenslicensspørgsmål korrekt mere end 90% af tiden. Den er en langt bedre testtager end tidligere ChatGPT AI-modeller, GPT-3 og -3.5, og bedre end nogle licenserede læger også. Ifølge Carey Goldberg og Microsofts vicepræsident for forskning, Peter Lee, har GPT-4 bedre klinisk dømmekraft end "mange læger" og kan diagnosticere sjældne tilstande "præcis som jeg ville gøre det".

At teste GPT-4: Metoden

For at teste GPT-4 samarbejdede Dr. Kohane og hans kollegaer for at se, hvordan AI-modellen udførte sig i en medicinsk sammenhæng. De stillede GPT-4 spørgsmål og gav den kliniske scenarier at diagnosticere, som derefter blev sammenlignet med diagnoserne foretaget af menneskelige læger. Forfatterne bemærker, at GPT-4 har flere fordele i forhold til menneskelige læger, såsom evnen til at huske og syntetisere store mængder information fra flere kilder.

Ikke desto mindre erkender forfatterne også, at GPT-4 har adskillige begrænsninger. For eksempel kan GPT-4 ikke tage højde for en patients unikke sygehistorie eller de sociale faktorer, der påvirker ens sundhedstilstand. Derudover rejser GPT-4s afhængighed af store mængder data bekymring omkring datasikkerhed og bias.

GPT-4: Evner og Potentiale

GPT-4 er mere end bare en faktafinder og en god testtager; den er også en fremragende oversætter. Ifølge forfatterne kan GPT-4 oversætte udskrivningsoplysninger for en patient, der taler portugisisk, og destillere teknisk jargon til noget, som sjetteklasser let kan forstå.

Men det er ikke kun inden for diagnosens område, at GPT-4 viser løfte. I bogen forklarer forfatterne, hvordan GPT-4 kan give læger nyttige forslag til omgangstone, og tilbyde tips om, hvordan man bedre kan forbinde sig med patienter.

Det er dog vigtigt at bemærke, at GPT-4 ikke er ufejlbarlig. Som forfatterne advarer, kan den stadig begå fejl, og den har ikke aflagt Hippokrates' ed. Derudover rejser AI-teknologi, herunder GPT-4, etiske spørgsmål om jobfordrivelse og beskyttelse af patientens privatliv.

Konklusion: Fremtiden for AI inden for medicin

Trods disse begrænsninger åbner GPT-4's succes inden for diagnosticering af medicinske tilstande spændende muligheder for AI-teknologi i medicin. I fremtiden kan AI-modeller som GPT-4 hjælpe læger med at diagnosticere sjældne sygdomme, oversætte medicinsk jargon og give en bedre pleje til patienter. Det er dog vigtigt, at AI-modeller udvikles og testes med etisk overvejelse.