Mistral AI lanserar sin senaste stora språkmodell Mixtral 8x22B

Mistral AI Mixtral 8x22B

Tillgänglig för nedladdning via torrent, modellen förväntas överträffa Mixtral 8x7B-modellen, som överträffade Llama 2 70B.

Mistral AI är ett franskt företag som specialiserar sig på försäljning av artificiella intelligensprodukter (AI). Företaget grundades i april 2023 av tidigare anställda från Meta Platforms och Google DeepMind. Mistral AI lyckades samla in €385 miljoner i oktober 2023 och värderades till mer än $2 miljarder i december samma år.

Mistral AI har lanserat Mixtral 8x22B-modellen, vilket markerar ett betydande framsteg inom området artificiell intelligens. Denna modell är designad för att revolutionera olika branscher, inklusive innehållsskapande, kundservice, läkemedelsupptäckt och klimatmodellering, genom att erbjuda en mer naturlig och hjälpsam AI-assistent. Den är byggd på en förfinad version av arkitekturen Sparse Mixture of Experts (SMoE), med 22 miljarder parametrar, vilket förväntas förbättra dess prestanda och effektivitet.

Trots sin stora storlek (281,24 GB) introducerar Mixtral 8x22B optimeringar som säkerställer snabbare slutledningstider utan att kompromissa med kvaliteten, vilket gör den mer tillgänglig för verkliga applikationer. Modellen stöder också ett bredare utbud av språk, vilket ytterligare demokratiserar AI-teknik över hela världen.

Mistral delade ut torrent magnet länk via Twitter

Mixtral 8x22B är öppen källkod vilket gör att utvecklare, forskare och hobbyister kan utforska dess potential och bidra till dess utveckling. Den är tillgänglig för nedladdning via en torrentlänk, vilket underlättar enkel åtkomst och användning för olika projekt och forskning. Modellen utnyttjar kraften i Mixture of Experts (MoE)-arkitekturen, vilket möjliggör effektiv allokering av beräkningsresurser och överlägsen prestanda.

Med totalt 8x22B parametrar (ungefär 130B) är det en av de största språkmodellerna med öppen källkod som finns tillgängliga idag. Dess effektiva design kräver dock bara cirka 44B aktiva parametrar per framåtpassning, vilket gör den mer tillgänglig och kostnadseffektiv att använda.

Modellen har en imponerande maximal sekvenslängd på 65 536 tokens, vilket möjliggör utökad kontextförståelse och generering. Denna förmåga öppnar nya möjligheter för uppgifter som kräver långväga beroenden och koherens. Tidiga riktmärken tyder på att Mixtral 8x22B potentiellt skulle kunna matcha eller till och med överträffa prestandan hos sin föregångare, Mixtral 8x7B, och andra toppmoderna modeller som GPT-4. Denna anmärkningsvärda prestation visar de snabba framstegen som görs inom området språkmodellering och effektiviteten hos MoE-arkitekturen.

Releasen av Mixtral 8x22B är inte bara en teknisk bedrift det representerar en förändring mot en mer inkluderande och deltagande framtid för AI-utveckling. När fler individer och organisationer får tillgång till dessa kraftfulla verktyg kan vi förvänta oss en ökning av innovativa tillämpningar och banbrytande forskning.

https://huggingface.co/v2ray/Mixtral-8x22B-v0.1

Leave a Reply

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *