Syv gratis open source GPT-modeller udgivet

Silicon Valley AI-selskabet Cerebras har frigivet syv open source GPT-modeller for at give et alternativ til de tæt kontrollerede og proprietære systemer, der er tilgængelige i dag.

De royaltiefri open source GPT-modeller, inklusive vægte og træningsopskrift, er blevet frigivet under den meget tilladende Apache 2.0-licens af Cerebras, et AI-infrastrukturfirma baseret i Silicon Valley til AI-applikationer.

To some extent er de syv GPT-modeller en bevisførelse for Cerebras Andromeda AI-supercomputeren.

Cerebras-infrastrukturen giver deres kunder, som f.eks. Jasper AI Copywriter, mulighed for hurtigt at træne deres egne brugerdefinerede sprogmodeller.

En Cerebras blogindlæg om hardwareteknologi bemærkede:

"Vi trænede alle Cerebras-GPT-modeller på en 16x CS-2 Cerebras Wafer-Scale Cluster, der hedder Andromeda.

Klyngen gjorde det muligt at fuldføre alle eksperimenter hurtigt, uden behov for den traditionelle fordelte systemteknik og modelparalleltuning, der kræves på GPU-klynger.

Vigtigst af alt gjorde det det muligt for vores forskere at fokusere på designet af ML frem for det distribuerede system. Vi tror, at evnen til nemt at træne store modeller er en nøglefaktor for det brede samfund, så vi har gjort Cerebras Wafer-Scale Cluster tilgængelig i skyen gennem Cerebras AI Model Studio."

Cerebras GPT Modeller og Gennemsigtighed

Cerebras henviser til koncentrationen af ejerskab af AI-teknologi hos kun få virksomheder som en grund til at skabe syv open source GPT-modeller.

OpenAI, Meta og Deepmind holder en stor mængde information om deres systemer private og stramt kontrolleret, hvilket begrænser innovation til det, de tre virksomheder beslutter at andre kan gøre med deres data.

Er et lukket kilde system bedst for innovation inden for AI? Eller er open source fremtiden?

Cerebras skriver:

"For at LLM'er skal være en åben og tilgængelig teknologi, mener vi, at det er vigtigt at have adgang til topmoderne modeller, der er åbne, reproducerbare og royalty-fri både til forskning og kommercielle anvendelser.

Til det formål har vi trænet en familie af transformer-modeller ved hjælp af de nyeste teknikker og åbne datasæt, som vi kalder Cerebras-GPT.

Disse modeller er den første familie af GPT-modeller, der er trænet ved hjælp af Chinchilla-formularen og frigivet via Apache 2.0-licensen."

Således bliver disse syv modeller udgivet på Hugging Face og GitHub for at fremme mere forskning gennem åben adgang til AI-teknologi.

Disse modeller blev trænet med Cerebras 'Andromeda AI-supercomputer, en proces der kun tog uger at fuldføre.

Cerebras-GPT er fuldt åben og gennemsigtig, i modsætning til de seneste GPT-modeller fra OpenAI (GPT-4), Deepmind og Meta OPT.

OpenAI og Deepmind Chinchilla tilbyder ikke licenser til at bruge modellerne. Meta OPT tilbyder kun en ikke-kommerciel licens.

OpenAI's GPT-4 har absolut ingen gennemsigtighed omkring deres træningsdata. Har de brugt Common Crawl data? Har de skrabet internettet og skabt deres egen datasæt?

OpenAI holder disse oplysninger (og mere) hemmelige, hvilket er i modsætning til Cerebras-GPT tilgangen, som er fuldt transparent.

Følgende er åbent og gennemsigtigt:

• Modelarkitektur
• Træningsdata
• Modelvægte
• Tjekpunkter
• Komputeroptimal træningsstatus (ja)
• Licens til brug: Apache 2.0 Licens

De syv versioner kommer i 111M, 256M, 590M, 1.3B, 2.7B, 6.7B og 13B modeller.

Det blev annonceret:

"Som det første blandt AI-hardwarefirmaer trænede Cerebras forskere en række syv GPT-modeller med 111M, 256M, 590M, 1.3B, 2.7B, 6.7B og 13B parametre på Andromeda AI-supercomputeren."

Normalt tager denne opgave flere måneder, men den blev fuldført på få uger takket være den utrolige hastighed hos Cerebras CS-2-systemerne, der udgør Andromeda, og Cerebras' vægtstrømningsarkitekturs evne til at eliminere udfordringerne ved distribueret databehandling."

Disse resultater viser, at Cerebras' systemer i stand til at træne nutidens største og mest komplekse AI-arbejdsbelastninger."

Dette er første gang en suite af GPT-modeller, der er trænet ved hjælp af topmoderne træningseffektivitetsteknikker, er blevet offentliggjort."

Disse modeller er trænet til optimal nøjagtighed inden for et givet databehandlingsbudget (dvs. træningseffektiv brug af Chinchilla-opskriften), hvilket betyder, at de kræver mindre træningstid, færre træningsomkostninger og bruger mindre energi end nogen eksisterende offentlige modeller."

Open Source AI

Mozilla-fonden, skaberne af open source-softwaren Firefox, har startet et firma ved navn Mozilla.ai for at udvikle open source GPT- og anbefalingssystemer, der er troværdige og respekterer privatlivets fred.

Databricks har også for nylig frigivet en open source GPT-klon kaldet Dolly, som sigter mod at demokratisere "tryllekunsten bag ChatGPT".

Ud over de syv Cerebras GPT-modeller har et andet firma ved navn Nomic AI udgivet GPT4All, en open source GPT, der kan køre på en bærbar computer.

Den åbne kilde AI-bevægelse er på et spædende stadie, men får mere og mere momentum.

GPT-teknologi er ved at give anledning til massive ændringer på tværs af industrier, og det er muligt, måske uundgåeligt, at open source-bidrag kan ændre ansigtet af de industrier, der driver denne ændring.

Hvis open source-bevægelsen fortsætter med at udvikle sig i dette tempo, kan vi stå over for at være vidne til et skift i AI-innovation, der forhindrer det i at koncentrere sig i hænderne på nogle få virksomheder.

Læs den officielle meddelelse:

Cerebras Systems udgiver syv nye GPT-modeller trænet på CS-2 Wafer-Scale-systemer