¿Qué es Google Lumiere? Una IA para crear vídeos a partir de texto, imagen o vídeo
Google ha presentado Lumiere, su herramienta de IA para generar vídeo a partir de palabras, imágenes o vídeos.
Google ha presentado Lumiere, un modelo de inteligencia artificial (IA) desarrollado por Google AI que tiene la capacidad de generar videos de 5 segundos, editar videos y animar imágenes por medio de breves descripciones en texto de lo que esperamos generar y a partir de imágenes o vídeos.
Para lograrlo, Google ha presentado su avanzado modelo de difusión espacio-temporal para la generación de vídeo realista creado para sintetizar vídeos ágilmente, con un aspecto más realista, diverso y coherente.
Generación de video con Lumiere
Lumiere puede generar videos a partir de palabras, imágenes estáticas o vídeos existentes.
Por ejemplo, Google muestra que se puede usar para crear un video de un oso panda comiendo bambú en una roca a partir de una descripción escrita.
También, es posible crear un video de un gato jugando con un juguete a partir de una imagen de un gato.
Esta potente herramienta cuenta con una función de generación estilizada, capaz de generar un video en un determinado estilo gráfico a partir de una imagen de referencia, como renders 3D o pinturas de acuarela.
Duración de vídeos con Lumiere
De acuerdo con el artículo de los investigadores de Google, Lumiere puede crear 80 fotogramas, dando como resultado vídeos de cinco segundos con una resolución de 1024 x 1024 píxeles por fotograma y una tasa de 16 fotogramas por segundo (fps).
Edición de video
Lumiere también se puede usar para editar videos existentes o modificar el aspecto de los personajes. Por ejemplo, muestra a una mujer caminando y Lumiere es capaz de hacer que la mujer esté hecha de flores.
Sin embargo, este método tiene sus limitaciones y no está diseñado para generar videos con múltiples tomas o que involucren transiciones entre escenas.
Animación de imágenes
Lumiere también se puede usar para animar imágenes estáticas. Por ejemplo, se puede usar para crear un GIF de una persona bailando a partir de una imagen de una persona, o para crear una animación de un objeto volando a partir de una imagen de un objeto.
Crear cinemagraphs
Lumiere puede animar una determinada región de una imágen. Por ejemplo, el usuario toma una fotografía de una fogata como muestra y al seleccionar una sección específica, Lumiere puede animarla para que se vea el movimiento del fuego.
La tecnología detrás de Lumiere
Lumiere se basa en una arquitectura de difusión espacio-temporal. Esta arquitectura permite a Lumiere generar videos que son fluidos y coherentes, ya que tiene en cuenta la relación entre los fotogramas a lo largo del tiempo.
Este avance en la calidad de videos generados con IA es posible gracias a la arquitectura Space-Time U-Net, la cual “genera la duración temporal completa del video de una sola vez, a través de un solo paso en el modelo”. Según Google, esto en contraposición con los modelos de video existentes que suelen sintetizar datos distantes.
Dicho en otras palabras, la tecnología de Lumiere maneja simultáneamente el espacio (donde se encuentran los objetos en el video) y el tiempo, es decir, cómo se desplazan o se transforman esos objetos a lo largo del video.
Google ha entrenado su modelo de texto a vídeo (T2V ó Text To Video) con un conjunto de datos que contiene 30 millones de videos junto con su descripción en texto. Aunque no ha sido transparente en indicar la fuente de esos videos, sí ha atribuido y agradecido a algunos de los dueños de imágenes y vídeos usados en sus experimentos.
El impacto social
Lumiere tiene el potencial de revolucionar la forma en que se crean y editan videos. Se podría usar para crear videos personalizados, para mejorar la calidad de los videos existentes o para crear nuevos formatos de video.
Disponibilidad
Los investigadores de Google indican que la intención de su trabajo era hacer pública esta herramienta para que los usuarios novatos puedan crear contenido visual de manera creativa y ágil.
Sin embargo, debido a que esta tecnología podría usarse de manera inadecuada para crear contenido falso o dañino, Lumiere aún se encuentra en desarrollo y consideran “es fundamental implementar herramientas para la detección de sesgos y casos de uso maliciosos para garantizar un uso seguro y justo”.
