Google lanserar nya Lumiere video skapande AI

Forskare vid Google har utvecklat en modell för att generera realistiska videor baserat på textbeskrivningar, bilder och stilreferenser. Modellen kallad Lumiere använder sig av en Space-Time U-Net-arkitektur för att generera hela videons tidsmässiga varaktighet på en gång.

Genom att kombinera spatial och temporal ned och uppsampling, samt dra nytta av en förtränad text-till-bild-modell, kan Lumiere generera videor med hög bildfrekvens och låg upplösning. Modellen har visat sig vara framgångsrik inom text-till-video-generering samt inom områden som bild-till-video, video-inpainting och stiliserad generering.

Denna AI har förmågan att skapa realistiska, mångsidiga och sammanhängande rörelser i videoklipp, vilket tidigare har varit en stor utmaning inom området för artificiell intelligens och dataseende.

Några intressanta användningsområden för Lumiere inkluderar:

  • Bild-till-Video: Modellen kan på ett smidigt sätt omvandla stillbilder till videoklipp genom att förhålla sig till den första bilden.
  • Videoinpainting: Lumiere kan animera godtyckligt maskerade regioner av befintlig video baserat på textprompter. Detta öppnar upp för nya möjligheter inom videoredigering, objektinlägg och/eller borttagning.
  • Stiliserad Skapelse: Forskarna har även lyckats föra över rumsliga stilar, som akvarellfilter, till videons temporala dimensioner genom att kombinera Lumiere med konstnärliga bildprioriteringar.
  • Cinemagrafer: Lokaliserade rörelseeffekter är möjliga där en del av bilden förblir statisk medan en annan del uppvisar rörelse, vilket lägger till en fängslande estetik till stillbilder.

För närvarande anses prioriteten för Lumiere vara att ge nybörjaranvändare möjligheten att skapa visuellt innehåll på ett kreativt och flexibelt sätt. Forskarna eftersträvar att utveckla och tillämpa verktyg för att detektera fördomar och förhindra skadliga användningsfall, för att säkerställa en säker och rättvis användning av teknologin.

https://lumiere-video.github.io/

https://arxiv.org/abs/2401.12945

Leave a Reply

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *