Hvordan fungerer ChatGPT?

ChatGPT er et af de mest skinnende nye AI-drevne værktøjer, men algoritmerne, der arbejder i baggrunden, har faktisk drevet en lang række apps og tjenester siden 2020. Så for at forstå, hvordan ChatGPT fungerer, skal vi starte med at tale om det underliggende sprog motor, der driver den.

GPT i ChatGPT er for det meste GPT-3 eller den Generative Pre-trained Transformer 3, selvom GPT-4 nu er tilgængelig for ChatGPT Plus-abonnenter - og vil sandsynligvis snart blive mere udbredt. GPT-modellerne er udviklet af OpenAI (virksomheden bag ChatGPT og billedgeneratoren DALL·E 2), men de driver alt fra Bings AI-funktioner til skriveværktøjer som Jasper og Copy.ai. Faktisk bruger de fleste af de tilgængelige AI-tekstgeneratorer i øjeblikket GPT-3 og vil sandsynligvis tilbyde GPT-4 som et næste trin.

ChatGPT bragte GPT-3 frem i rampelyset, fordi det gjorde processen med at interagere med en AI-tekstgenerator enkel og – vigtigst af alt – gratis for alle. Plus, det er en chatbot, og folk har elsket en god chatbot siden SmarterChild.

Mens GPT-3 og GPT-4 er de mest populære Large Language Models (LLM'er) lige nu, vil der i løbet af de næste par år sandsynligvis være meget mere konkurrence. Google har for eksempel Bard - dens AI-chatbot - som er drevet af sin egen sprogmotor Pathways Language Model (PaLM 2). Men indtil videre er OpenAI's tilbud de facto industristandarden. Det er bare det nemmeste værktøj for folk at få fingrene i.

Så svaret på "hvordan fungerer ChatGPT?" er grundlæggende: GPT-3 og GPT-4. Men lad os grave lidt dybere.

Hvad er ChatGPT?

ChatGPT er en app bygget af OpenAI. Ved at bruge GPT-sprogmodellerne kan den besvare dine spørgsmål, skrive kopi, udarbejde e-mails, holde en samtale, forklare kode på forskellige programmeringssprog, oversætte naturligt sprog til kode og mere – eller i det mindste prøve at – alt sammen baseret på det naturlige sprog beder dig fodre den. Det er en chatbot, men en rigtig, rigtig god en.

Selvom det er fedt at lege med, hvis du f.eks. vil skrive en Shakespeare-sonnet om dit kæledyr eller få et par ideer til emnelinjer for nogle marketing-e-mails, er det også godt for OpenAI. Det er en måde at få en masse data fra rigtige brugere på og fungerer som en fancy demo for kraften i GPT, som ellers kunne føles lidt sløret, medmindre du var dybt inde i maskinlæring.

Lige nu tilbyder ChatGPT to GPT-modeller. Standarden, GPT-3.5, er mindre kraftfuld, men tilgængelig for alle gratis. Den mere avancerede GPT-4 er begrænset til ChatGPT Plus-abonnenter, og selv de får kun et begrænset antal spørgsmål hver dag.

En af ChatGPTs store funktioner er, at den kan huske den samtale, du har med den. Det betyder, at den kan hente kontekst ud fra, hvad du end har bedt om den tidligere, og derefter bruge den til at informere dens samtale med dig. Du er også i stand til at bede om omarbejdelser og rettelser, og det vil referere tilbage til det, du har diskuteret før. Det får interaktion med AI til at føles som en ægte frem og tilbage.

Hvis du virkelig vil have en fornemmelse af det, skal du bruge fem minutter på at spille med ChatGPT nu (det er gratis!), og så vende tilbage for at læse om, hvordan det fungerer.

Hvordan fungerer ChatGPT?

Dette enorme datasæt blev brugt til at danne et neuralt netværk for dyb læring [ ... ] modelleret efter den menneskelige hjerne - hvilket gjorde det muligt for ChatGPT at lære mønstre og relationer i tekstdataene [ ... ] og forudsige hvilken tekst der skulle komme næste gang i en given sætning .

ChatGPT virker ved at forsøge at forstå din prompt og derefter spytte rækker af ord ud, som den forudsiger bedst vil besvare dit spørgsmål, baseret på de data, den blev trænet på.

Lad os faktisk tale om den træning. Det er en proces, hvor den begyndende AI får nogle grundregler, og så sættes den enten i situationer eller får masser af data at arbejde igennem for at udvikle sine egne algoritmer.

GPT-3 blev trænet på omkring 500 milliarder "tokens", som gør det muligt for dets sprogmodeller lettere at tildele mening og forudsige plausibel efterfølgende tekst. Mange ord er knyttet til enkelte tokens, selvom længere eller mere komplekse ord ofte opdeles i flere tokens. I gennemsnit er tokens omkring fire tegn lange. OpenAI har forholdt sig stille med hensyn til GPT-4's indre funktioner, men vi kan roligt antage, at det blev trænet på stort set det samme datasæt, da det er endnu mere kraftfuldt.

Alle tokens kom fra et massivt korpus af data skrevet af mennesker. Det inkluderer bøger, artikler og andre dokumenter på tværs af alle forskellige emner, stilarter og genrer – og en utrolig mængde indhold skrabet fra det åbne internet. I bund og grund fik det lov til at knase igennem summen af menneskelig viden.

Dette enorme datasæt blev brugt til at danne et deep learning neuralt netværk - en kompleks, mangelags, vægtet algoritme modelleret efter den menneskelige hjerne - som gjorde det muligt for ChatGPT at lære mønstre og relationer i tekstdataene og udnytte evnen til at skabe menneskelignende svar ved at forudsige, hvilken tekst der skal komme næste gang i en given sætning.

Selvom det virkelig undersælger ting. ChatGPT fungerer ikke på et sætningsniveau – i stedet genererer det tekst af, hvad ord, sætninger og endda afsnit eller strofer kan følge. Det er ikke den forudsigende tekst på din telefon, der ligefrem gætter det næste ord; det forsøger at skabe fuldstændig sammenhængende svar på enhver prompt.

For yderligere at forfine ChatGPTs evne til at reagere på en række forskellige prompter, blev den optimeret til dialog med en teknik kaldet forstærkende læring med menneskelig feedback (RLHF). Grundlæggende skabte mennesker en belønningsmodel med sammenligningsdata (hvor to eller flere modelsvar blev rangeret af AI-trænere), så AI'en kunne lære, hvad der var det bedste svar.

Tilbage til det neurale netværk, det dannede. Baseret på al den træning har GPT-3's neurale netværk 175 milliarder parametre eller variabler, der gør det muligt for det at tage et input - din prompt - og derefter, baseret på de værdier og vægtninger, det giver til de forskellige parametre (og en lille mængde tilfældigheder) ), udlæser det, den mener passer bedst til din anmodning. OpenAI har ikke sagt, hvor mange parametre GPT-4 har, men det er et sikkert gæt, at det er mere end 175 milliarder og mindre end de engang rygtede 100 billioner parametre. Uanset det nøjagtige antal betyder flere parametre ikke automatisk bedre. Noget af GPT-4's øgede kraft kommer formentlig af at have flere parametre end GPT-3, men meget skyldes nok forbedringer i, hvordan det blev trænet.

I sidste ende er den enkleste måde at forestille sig det som et af de "afslut sætningen"-spil, du spillede som barn.

I sidste ende er den enkleste måde at forestille sig det som et af de "afslut sætningen"-spil, du spillede som barn. For eksempel, da jeg gav ChatGPT ved hjælp af GPT-3 prompten, "Zapier er...", svarede den og sagde:

"Zapier er et webbaseret automatiseringsværktøj, der giver brugerne mulighed for at forbinde forskellige webapplikationer sammen for at automatisere gentagne opgaver og forbedre arbejdsgange."

Det er den slags sætninger, du kan finde i hundredvis af artikler, der beskriver, hvad Zapier gør, så det giver mening, at det er den slags ting, den spytter ud her. Men da min redaktør gav den samme prompt, sagde den:

"Zapier er et webbaseret automatiseringsværktøj, der giver brugerne mulighed for at forbinde forskellige webapplikationer og automatisere arbejdsgange mellem dem."

Det er ret ens, men det er ikke helt det samme svar. Den tilfældighed (som du kan kontrollere i nogle GPT-3-apps med en indstilling kaldet "temperatur") sikrer, at ChatGPT ikke kun reagerer på hvert enkelt svar med, hvad der svarer til et aktiesvar. Den kører hver prompt gennem hele det neurale netværk hver gang og kaster et par terninger her og der for at holde tingene friske. Det er ikke sandsynligt, at det begynder at påstå, at Zapier er en farve fra Mars, men det vil blande de følgende ord sammen baseret på deres relative sandsynlighed.

(For hvad det er værd, når man kører på GPT-4, sagde ChatGPT: " Zapier er et webbaseret automatiseringsværktøj, der giver brugerne mulighed for at integrere og automatisere opgaver mellem forskellige online applikationer og tjenester." Meget det samme!)

At spytte ord ud, ikke viden

Skaberne af ChatGPT er de første til at sige, at det kan producere forkert (og muligvis skadelig) information, selvom de arbejder hårdt på at rette op på det.

Her er et tamt eksempel. Da jeg bad ChatGPT ved hjælp af GPT-3 og GPT-4 om at svare på "Harry Guinness er..." svarede GPT-3 først ved at spørge, hvilken Harry Guinness. Godt spørgsmål - vi er bogstaveligt talt to! Så jeg sagde: "Harry Guinness the writer" (det er mig). GPT-4 gættede med det samme, hvem jeg var, selvom begge svar var fascinerende:

GPT-3: Harry Guinness er freelanceskribent og journalist baseret i Irland. Han har skrevet for en række publikationer, herunder The New York Times, The Guardian, The Huffington Post og Popular Mechanics. Han dækker emner lige fra teknologi og fotografi til rejser og kultur.

GPT-4: Harry Guinness er en irsk forfatter, fotograf og teknologiekspert. Han har skrevet til forskellige publikationer, herunder How-To Geek, Lifehacker og Tuts+. Hans arbejde fokuserer primært på teknologi, tutorials og tips, samt fotografering og billedredigering. Guinness har opbygget et ry for at skabe detaljerede vejledninger, der hjælper læsere med at forstå komplekse emner eller løse problemer på en ligetil måde.

GPT-3's første og sidste linie er trukket næsten ordret fra mine forskellige hjemmesider og forfatterbios rundt omkring på nettet (selvom jeg normalt angiver mig selv som freelance skribent og fotograf, ikke journalist). Men listen over publikationer er som udgangspunkt lavet op. Jeg har skrevet for The New York Times , men ikke for The Guardian , The Huffington Post eller Popular Mechanics (jeg skriver jævnligt til Popular Science , så det kan være der, det kom fra).

GPT-4 får fotografdelen rigtigt og lister faktisk nogle publikationer, jeg har skrevet til, hvilket er imponerende, selvom det ikke er dem, jeg ville være mest stolt af. Det er et godt eksempel på, hvordan OpenAI har været i stand til at øge nøjagtigheden af GPT-4 i forhold til GPT-3, selvom det måske ikke altid giver det mest korrekte svar.

Men lad os gå tilbage til GPT-3, da dens fejl giver et interessant eksempel på, hvad der foregår bag kulisserne i ChatGPT. Den ved faktisk ikke noget om mig. Det er ikke engang at kopiere/indsætte fra internettet og stole på kilden til informationen. I stedet forudsiger den simpelthen en række ord, der kommer næste gang baseret på de milliarder af datapunkter, den har.

For eksempel: The New York Times grupperes langt oftere med The Guardian og The Huffington Post, end det er med de steder, jeg har skrevet for, som Wired , Outside , The Irish Times og, selvfølgelig, Zapier. Så når det skal finde ud af, hvad der skal følge efter The New York Times , trækker det ikke fra de offentliggjorte oplysninger om mig; den trækker den liste over store publikationer fra alle de træningsdata, den har. Det er meget smart og ser plausibelt ud, men det er ikke sandt.

GPT-4 gør et meget bedre stykke arbejde og nagler publikationerne, men resten af det, der står, føles egentlig bare som plausible opfølgende sætninger. Jeg tror ikke, det har nogen stor påskønnelse af mit omdømme: det siger bare den slags ting, en bio siger. Den er langt bedre til at skjule, hvordan den virker end GPT-3, selvom den faktisk bruger meget den samme teknik.

Alligevel er det meget imponerende, hvor meget GPT allerede er blevet forbedret. Indtil videre er GPT-4 låst bag et premium-abonnement, så det meste ChatGPT-indhold, du ser, vil stole på GPT-3, men det kan ændre sig i løbet af det næste stykke tid. Hvem ved, hvad GPT-5 vil bringe.

Hvad er ChatGPT API?

OpenAI har ikke en bare os-attitude med sin teknologi. Virksomheden har en API-platform, der giver udviklere mulighed for at integrere kraften i ChatGPT i deres egne apps og tjenester (selvfølgelig til en pris).

Zapier bruger ChatGPT API til at drive sin egen ChatGPT-integration, som lader dig forbinde ChatGPT til tusindvis af andre apps og tilføje AI til dine forretningskritiske arbejdsgange. Her er nogle eksempler for at komme i gang, men du kan udløse ChatGPT fra stort set enhver app.

Du kan også gøre brug af OpenAIs andre modeller—som DALL·E og Whisper—med Zapiers OpenAI-integration. Automatiser arbejdsgange, der involverer billedgenerering og lydtransskription, direkte fra de apps, du allerede bruger.

Relateret læsning: Hvordan du kan (og hvornår du ikke bør) bruge ChatGPT til at skrive marketingtekst