Apple släpper åtta små AI-språkmodeller

chatbots ai maskinlära
  • 🤖 Apple släpper åtta små AI-språkmodeller för enhetsanvändning Apple har släppt åtta små AI-språkmodeller som är designade för att användas på enheter. Dessa modeller är mindre och mer effektiva än Apples tidigare modeller, vilket gör dem lämpliga för användning på smartphones, surfplattor och andra mobila enheter.
  • 🗣️ Språkmodellerna är tillgängliga på 16 språk De åtta små AI-språkmodellerna är tillgängliga på 16 språk, inklusive svenska, engelska, franska, spanska, tyska, kinesiska, japanska och koreanska. Detta gör dem tillgängliga för en bred publik runt om i världen.
  • 💻 Modellerna kan användas för en mängd olika uppgifter De små AI-språkmodellerna kan användas för en mängd olika uppgifter, inklusive översättning, textgenerering, sammanfattning och frågesvar. Detta gör dem till ett kraftfullt verktyg för både personligt och professionellt bruk.

Apple har nyligen introducerat en uppsättning små AI-språkmodeller kallade OpenELM, vilka är utformade för att köras direkt på en smartphone. Dessa modeller är tillräckligt små för att kunna köras lokalt på en enhet istället för att kräva datormässiga beräkningskraft i molnet. OpenELM är för närvarande främst forskningsmodeller, men de kan utgöra grunden för framtida AI-erbjudanden från Apple på enheterna.

OpenELM speglar ansträngningar av Microsoft att skapa användbara små AI-språkmodeller som kan köras lokalt. Detta är en del av Apples ambitioner att göra AI löpande lokalt på Apple-enheter. Forskare från Apple har släppt OpenELM, en serie av fyra mycket små språkmodeller på Hugging Face-modellbiblioteket. OpenELM, vilket står för ”Open-source Efficient Language Models”, utför mycket effektivt textrelaterade uppgifter som e-postskrivning. Modellerna är öppenkällkodsbaserade och redo för utvecklare att använda.

OpenELM är ännu mindre än de flesta lättviktiga AI-modellerna. Det finns fyra storlekar: 270 miljoner parametrar; 450 miljoner parametrar; 1,1 miljarder parametrar; och 3 miljarder parametrar. Parametrar refererar till hur många variabler en modell förstår i beslutsfattandet från sina träningsdatauppsättningar. Små modeller är billigare att köra och optimeras för att fungera på enheter som telefoner och bärbara datorer.

Apple har släppt OpenELM-modellerna för att ”stärka och berika den öppna forskningsgemenskapen” med state-of-the-art språkmodeller. Genom att dela öppen källkod ger forskare möjlighet att undersöka risker och data- och modellbias. Utvecklare och företag kan använda modellerna som de är eller göra ändringar.

Apple har inte ännu infört dessa typer av AI-kapaciteter i sina enheter, men iOS 18 förväntas inkludera ett antal nya AI-funktioner, och rykten tyder på att Apple planerar att köra sina stora språkmodeller lokalt för integritetsändamål.

OpenELM, en state-of-the-art öppen språkmodell, använder en lagervis skalningsstrategi för att effektivt allokera parametrar inom varje lager av transformatormodellen, vilket leder till förbättrad noggrannhet. Till exempel, med en parameterbudget på ungefär en miljard parametrar, visar OpenELM en 2,36% förbättring i noggrannhet jämfört med OLMo medan det kräver 2x färre förtränings-token.

Apple har skilt sig från tidigare praxis som endast tillhandahåller modellvikter och inferenskod, och förtränar på privata dataset, genom att inkludera det kompletta ramverket för träning och utvärdering av språkmodellen på offentligt tillgängliga dataset, inklusive träningsloggar, flera checkpoints och förträningskonfigurationer.

huggingface

Leave a Reply

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *