Lumiere: AI od Google, które generuje klipy ze słodkimi zwierzakami
Oczywiście jeśli zamiast oglądać wygenerowaną przez AI wiewiórkę jedzącą orzech, wolimy zobaczyć ognisko na plaży lub rycerza jadącego na koniu – droga wolna.
Lumiere to, jak twierdzą sami twórcy, model dyfuzji tekstu na wideo zaprojektowany do syntezy filmów. Powstałe w ten sposób materiały prezentują nie tylko realistyczny, ale również zróżnicowany i spójny ruch. Dzięki zastosowaniu architektury Space-Time U-Net od razu generowana jest całość filmu (aczkolwiek do najdłuższych one nie należą, bo klipy trwają zaledwie kilka sekund). Badacze odpowiedzialni za stworzenie Lumiere zwracają uwagę na to, że ich twór stanowi znaczny krok naprzód w stosunku do podobnych modeli AI obecnych na rynku. Te z kolei zazwyczaj uciekały się do syntezy odległych klatek kluczowych oraz następującego po niej czasowego zastosowania superrozdzielczości, jednak podejście to utrudniało osiągnięcie globalnej spójności czasowej. Więcej informacji na temat założeń stojących za Lumiere można znaleźć na stronie Uniwersytetu Cornella.
Google Lumiere
Jeśli interesuje was, jak prezentuje się twórczość wygenerowana z wykorzystaniem Lumiere (a zgaduję, że tak jest – w końcu to czytacie), to warto zapoznać się z poniższym filmem:
Narzędzie pozwala na generowanie krótkich klipów zarówno na bazie tekstu, jak i statycznych obrazów. Istnieje przy tym możliwość pokazania AI przykładowej grafiki, na której stylu będzie się wzorować przy tworzeniu materiałów.
zdjęć
Lumiere umożliwia także stylizację wybranego filmu. Nic nie stoi na przeszkodzie, aby przekształcić realistycznie wyglądającego niedźwiedzia w takiego, który został stworzony z papieru lub kolorowych klocków.
To wciąż jednak nie koniec możliwości nowego tworu Google. Opisywany model AI jest w stanie zanimować jedynie wybrany fragment zdjęcia, potrafi on także uzupełnić niewidoczne fragmenty filmów z uwzględnieniem zawartości kadru.
Prawdopodobnie najciekawszą opcję pozostawiono jednak na koniec, jako że Lumiere jest w stanie wzbogacić istniejące już materiały wideo o nowe elementy. Jak możemy zobaczyć na załączonym poniżej przykładzie, mały kurczak może zostać przyodziany w szlafrok, stanąć na taborecie, a nawet założyć kalosze i imprezową czapeczkę.
Nad powstaniem Lumiere pracował zespół Google Research, jak również badacze z Instytutu Weizmanna, Uniwersytetu Tel-Aviv i Technionu.
Czytaj dalej
Nowa AI Google jest w stanie przewidzieć strukturę białek i molekuł
OpenAI pracuje nad technologią wykrywającą obrazy wygenerowane przez AI
Smartfony Google Pixel oficjalnie w Polsce
Google upraszcza proces uwierzytelniania dwuetapowego
Swoją przygodę z grami komputerowymi rozpoczął od Herkulesa oraz Jazz Jackrabbit 2, tydzień później zagrywał się już w Diablo II i Morrowinda. Pasjonat tabelek ze statystykami oraz nieliniowych wątków fabularnych. Na co dzień zajmuje się projektowaniem stron internetowych. Nie wzgardzi dobrą lekturą ani kebabem.