xAI har frisläppt bas koden för Grok AI-modellen som öppen källkod

Elon Musks företag xAI har nyligen gjort basen för deras AI-modell Grok tillgänglig som öppen källkod på plattformen GitHub. Detta innebär att forskare och utvecklare nu kan bygga vidare på modellen och påverka hur xAI uppdaterar Grok i framtiden. Detta steg ses som en del av konkurrensen med andra teknikgiganter som OpenAI, Meta och Google.

Om Grok AI-modellen

Grok AI är baserad på en ”314 miljarder parameter Mixture-of-Experts”-modell, kallad Grok-1 och är designad för användningsområden som kodgenerering, kreativt skrivande och besvarande av frågor. Modellen lanserades ursprungligen i en begränsad form som krävde ett betalt abonnemang på plattformen X (tidigare Twitter), men har nu gjorts tillgänglig för allmänheten.

Koden och licensiering

Koden som har släppts innehåller den grundläggande modellens vikter och nätverksarkitektur, men inte den data som användes för att träna den eller kopplingar till X för realtidsdata. Detta har potential att begränsa vissa användningsområden för modellen, men öppnar samtidigt upp för omfattande anpassningar och vidareutveckling. xAI har valt att licensiera Grok under Apache 2.0-licensen, vilken möjliggör kommersiellt bruk

• Grok-1 är en Mixture-of-Experts-modell med 314 miljarder parametrar som tränats från grunden av xAI.

• Modellen är inte finjusterad för någon specifik applikation, till exempel dialog.

• Vikter och arkitektur släpps under Apache 2.0-licensen.

• Modellinformation omfattar att tränas på en stor mängd textdata, att ha 25 % av vikterna aktiva på en token och att tränas med hjälp av en anpassad stack på JAX och Rust.
• Musks beslut att använda öppen källkod för Grok-1 ses som ett strategiskt drag mitt i hans stämning och kritik mot OpenAI, och det höjer insatserna för andra leverantörer av språkmodeller att bevisa sitt värde.

Vikten av att open source AI

Elon Musk har tidigare kritiserat företag som väljer att inte göra sina AI-modeller öppna, inklusive OpenAI som han var med och grundade. Genom att göra Grok öppen källkod, tar Musk och xAI ett steg i riktningen mot större öppenhet inom AI-sektorn. Detta understryker också vikten av att dela teknik för att främja innovation och säkerställa att utvecklingen av AI sker på ett transparent och inkluderande sätt.

Frigivandet av Grok som öppen källkod är ett viktigt steg från xAI’s sida och visar ett åtagande mot öppenhet och samarbete inom AI-sektorn. Den gör det möjligt för en bredare grupp av utvecklare och forskare att bidra till och dra nytta av framstegen inom AI-teknologi.

x.ai/blog/grok-os

github – xai-org/grok-1