Meta lanserar ny LLM Llama 3

meta-llama-3

Meta har nyligen släppt Llama 3 den senaste generationen av dess LLM (Large Language Model), vilket innebär att det nu är tillgängligt för allmänheten. Llama 3 har utvecklats för att erbjuda SOTA-prestanda och effektivitet. Modellen finns i två versioner med 8B och 70B parametrar och har tränats på över 15 biljoner tokens, vilket gör den sju gånger större än Llama 2:s dataset. Llama 3 förbättrar resonemang och kodningsförmågor och dess träningsprocess är tre gånger mer effektiv än dess föregångare.

Llama 3 har utmärkt sig genom att överträffa Gemma och Mistral på alla benchmarks, och 70B-modellen överträffar Gemini Pro 1.5 och Claude 3 Sonnet. Modellen är nu tillgänglig på Amazon SageMaker, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM och Snowflake. Dessutom kommer modellen att vara kompatibel med hårdvaruplattformar som tillhandahålls av AMD, AWS, Dell, Intel, NVIDIA och Qualcomm.

Förutom modellen har Meta även infört sina senaste modeller i Meta AI, som nu drivs av Llama 3, och utökat dess tillgänglighet till fler länder. Meta AI är tillgänglig genom Facebook, Instagram, WhatsApp, Messenger och webben, vilket möjliggör för användare att utföra uppgifter, lära sig, skapa och engagera sig med sina intressen. Användare kommer snart att kunna uppleva multimodal Meta AI på Ray-Ban Meta smartglasögon.

Llama 3 använder en 128K-token-vokabulär för mer effektiv språkkodning, vilket leder till betydande förbättringar av prestanda. För att öka inferensens effektivitet implementeras grupperad frågeuppmärksamhet (GQA) i både 8B- och 70B-parametermodellerna. Modellerna tränades på sekvenser av 8 192 tokens, med maskering för att upprätthålla dokumentgränser.

Llama 3:s träningsdata består av över 15 biljoner tokens från offentligt tillgängliga data, sju gånger större än Llama 2:s dataset. Modellen tränades på två anpassade byggda 24k GPU-kluster. Den inkluderar fyra gånger mer kod och över 5% högkvalitativ icke-engelsk data som täcker över 30+ språk, även om engelska förblir mest framstående. Avancerade datatillfiltreringsmetoder, inklusive heuristiska filter och semantisk deduplicering, säkerställer toppkvalitativ träningsdata.

Mark Zuckerberg har uttryckt att Meta hoppas att ”göra Llama 3 multilingual och multimodal, ha längre kontext och fortsätta förbättra övergripande prestanda över kärnLLM-kapaciteter som resonemang och kodning” i framtiden. Meta AI är också snart kommande till dess Ray-Ban Meta smartglasögon och rullar ut på engelska i över ett dussin länder utanför USA.

ai.meta.com – meta-llama-3

One comment

Leave a Reply

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *