Den senaste versionen av xAI:s Grok 1.5 kan bearbeta bilder
Den senaste versionen av xAI:s Grok, Grok-1.5, har förbättrad förmåga att förstå långa sammanhang och avancerade resonemang, men det finns ingen specifik information om att den kan bearbeta bilder direkt i de tillhandahållna källorna 1. Grok-1.5 introducerar förmågan att bearbeta långa sammanhang upp till 128 000 tokens, vilket ökar dess minneskapacitet till upp till 16 gånger den tidigare sammanhangslängden. Detta möjliggör för Grok att använda information från betydligt längre dokument.
En separat version, Grok-1.5V, är xAI:s första generation multimodala AI-modell, vilket innebär att den inte bara kan bearbeta text utan också ”dokument, diagram, diagram, skärmdumpar och fotografier”. Detta innebär att Grok-1.5V kan hantera visuell information, inklusive att översätta diagram till Python-kod, skriva en historia baserat på en teckning och förklara en meme som du inte förstår. Grok-1.5V är konkurrenskraftig med befintliga multimodala modeller inom flera domäner, inklusive förståelse av dokument, vetenskapliga diagram, diagram, skärmdumpar och fotografier.
Infrastrukturen som stödjer Grok-1.5 består av en anpassad distribuerad träningsramverk som använder teknologier som JAX, Rust och Kubernetes. Denna stack gör det möjligt för utvecklarna att snabbt prototypa idéer och träna nya arkitekturer i stor skala med minimal ansträngning. En stor utmaning med att träna storskaliga språkmodeller (LLM) på stora beräkningskluster är att maximera tillförlitligheten och drifttiden för träningsjobbet. Den anpassade träningsorkestratorn säkerställer att problematiska noder automatiskt upptäcks och tas bort från träningsjobbet.
