Ny Open Source ChatGPT-klon - Kaldet Dolly

Åben kilde GPT Chat tog endnu et skridt fremad med frigivelsen af Dolly Large Language Model (DLL) skabt af virksomheden Databricks.

Den nye ChatGPT-klon kaldes Dolly og er opkaldt efter den berømte får af samme navn, det første pattedyr der blev klonet.

Open Source Store Sprogmodeller

Den Dolly LLM er den seneste manifestation af den voksende open source AI-bevægelse, som sigter mod at tilbyde større adgang til teknologien, så den ikke monopoliseres og kontrolleres af store virksomheder.

En af bekymringerne, der driver den åbne kildekode AI-bevægelse, er, at virksomheder måske er tilbageholdende med at overlade følsomme data til en tredjepart, der kontrollerer AI-teknologien.

Baseret på åben kildekode

Dolly blev skabt ud fra en åben kildekode model lavet af den non-profit EleutherAI forskningsinstitut og Stanford University Alpaca modellen, som i sig selv blev skabt ud fra den åbne kildekode LLaMA model med 65 milliarder parametre, der blev skabt af Meta.

LLaMA, som står for Large Language Model Meta AI, er en sprogmodel, der er trænet på offentligt tilgængelige data.

Ifølge en artikel af Weights & Biases kan LLaMA præstere bedre end mange af de øverste sprogmodeller (OpenAI GPT-3, Gopher af Deep Mind og Chinchilla af DeepMind), på trods af at være mindre.

Oprettelse af en bedre datasæt

En anden inspiration kom fra en akademisk forskningsartikel (SELV-INSTRUKTION: Justering af sprogmodel med selvgenererede instruktioner PDF), der beskrev en måde at skabe træningsdata med høj kvalitet for autogenererede spørgsmål og svar, der er bedre end de begrænsede offentlige data.

Den selvvejledende forskningsartikel forklarer:

“...vi udvælger en række ekspertskrevne instruktioner til nye opgaver og viser gennem menneskelig evaluering, at tuning af GPT3 med SELVINESTRUKTION overgår brugen af eksisterende offentlige instruktionsdatasæt med en stor margen og kun efterlader en 5% absolut forskel efter InstructGPT...

...Ved at anvende vores metode på den almindelige GPT3 viser vi en absolut forbedring på 33% i forhold til den originale model på OVERNATURLIGINSTRUKTIONER, på niveau med præstationen af InstructGPT... som er trænet med private brugerdata og menneskelige annoteringer."

Betydningen af Dolly er, at den viser, at en nyttig stor sprogmodel kan skabes med en mindre, men af høj kvalitet, datasæt.

Databricks observerer:

“Dolly arbejder ved at tage en eksisterende open source-model på 6 milliarder parametre fra EleutherAI og modificere den en smule for at fremkalde instruktionsfølgningskapaciteter som brainstorming og tekstgenerering, som ikke er til stede i den originale model, ved hjælp af data fra Alpaca.

...Vi viser, at enhver kan tage en datostemplet, frit tilgængelig open source stor sprogmodel (LLM) og give den magiske ChatGPT-lignende instruktionsfølgende evne ved at træne den på 30 minutter på én maskine ved brug af kvalitets træningsdata.

Overraskende nok ser det ikke ud til, at følge instruktioner kræver de nyeste eller største modeller: vores model har kun 6 milliarder parametre, sammenlignet med 175 milliarder for GPT-3."

Databricks Open Source AI

Dolly siges at demokratisere AI. Det er en del af en voksende bevægelse, der for nylig blev fulgt af den non-profit organisation Mozilla med stiftelsen af Mozilla.ai. Mozilla er udgiveren bag Firefox-browseren og anden open source-software.