Un team di ricercatori in intelligenza artificiale presso Google Research ha sviluppato un generatore di video basato su IA di nuova generazione chiamato Lumière.

La genesi

Negli ultimi anni, le applicazioni di intelligenza artificiale sono passate dal laboratorio di ricerca alla comunità degli utenti. I modelli di linguaggio a grandi dimensioni, come ChatGPT di OpenAI, ad esempio, sono stati integrati con i browser, consentendo agli utenti di generare testi in modi che non hanno precedenti con il passato.

Inoltre, i generatori di testo permettono adesso agli utenti di creare immagini surreali, nonché brevi clip video usando solo poche parole.

In questo nuovo sforzo, però, il team di Google ha portato questa ultima categoria a nuove vette con l’annuncio di un generatore di testo in video chiamato, per l’appunto, Lumiere.

Lumiere

Lumiere, chiamato così in onore dei fratelli Lumière, pionieri delle prime attrezzature fotografiche, consente agli utenti di digitare una semplice frase come “due procioni che leggono libri insieme” e di ottenere un video completamente finito che mostra proprio due procioni che fanno questo e con una risoluzione straordinariamente alta. Il nuovo generatore, quindi, rappresenta un passo successivo nello sviluppo dei generatori di testo in video, creando risultati migliori rispetto ad oggi.

Google descrive la tecnologia come una “rivoluzionaria architettura Space-Time U-Net”, progettata per generare video animati con un solo passaggio.

In effetti, il video di dimostrazione racconta che Google ha aggiunto funzionalità extra, come consentire agli utenti di modificare un video esistente evidenziando una parte di esso e digitando istruzioni, come “cambia il colore del vestito in rosso”.

Il generatore produce anche diversi tipi di risultati, come le stilizzazioni, per cui viene creato lo stile di un soggetto piuttosto che una rappresentazione a colori completa. E non solo: consente anche sottostili e la generazione di cinemagrafie (fotografia digitali dov’è presente un piccolo movimento, spesso ripetitivo), in cui un utente può evidenziare una parte o l’intera immagine fissa e farla animare.

Tuttavia, Google non ha specificato se prevede di rilasciare o distribuire Lumiere al pubblico, probabilmente a causa delle ovvie implicazioni legali che potrebbero sorgere a causa della potenziale creazione di video che violano le leggi sul copyright.

Approfondimento: Lumiere: A Space-Time Diffusion Model for Video Generation