Stabilitet AI debuterar Stable Video 3D-modell som skapar animationer

Stability AI har introducerat Stable Video 3D (SV3D), en generativ AI-modell som kan skapa 3D-videor från 2D-bilder. Denna modell är designad för att generera videor av roterande 3D-objekt eller skapa 3D-videor med specificerade kamerabanor. Den kan producera 360-gradersvyer av objekt utan att behöva bilder från alla vinklar, tack vare dess storskaliga förträning på datamängder som LAION och LVD, och vidareutbildning på datasetet ”Objaverse”, som inkluderar ett brett utbud av 3D-objekt.

SV3D finns i två varianter: SV3D_u som genererar orbitalvideor baserade på enbildsingångar utan kamerakonditionering, och SV3D_p, som utökar denna förmåga genom att ta emot både enstaka bilder och orbitalvyer, vilket möjliggör skapandet av 3D-videor längs specificerade kamerabanor. Den här modellen är särskilt användbar inom spelutveckling och e-handel, och erbjuder en mer uppslukande och interaktiv shoppingupplevelse genom att tillhandahålla 360-graders videor.

Stability AI har gjort SV3D tillgängligt för både kommersiellt och icke-kommersiellt bruk. För kommersiellt bruk krävs ett Stability AI Professional-medlemskap vilket kostar $20 per månad för kreatörer och utvecklare med mindre än $1 miljon i årliga intäkter. Icke-kommersiella användare kan ladda ner modellvikterna från Hugging Face, Du kan även få lite info om SVD3 på github.

Modellen utnyttjar Neural Radiance Fields (NeRF) och mesh-representationer för att förbättra kvaliteten och konsistensen hos renderade videor. Den använder också en lös belysningsmodell för att hantera problem med inbakad belysning 5. Trots dess framsteg finns det farhågor om exaktheten hos objekt som genereras av SV3D särskilt om AI-renderingen görs efter produkten, och dess förmåga att hantera bilder Av människor.

stability.ai – introducing-stable-video-3d