Nvidia transforma Stable Diffusion en un modelo de texto a video, generando videos de alta resolución y mostrando cómo el modelo puede ser personalizado. Este avance de inteligencia artificial se basa en modelos de difusión y agrega una dimensión temporal que permite la síntesis de imágenes alineadas temporalmente sobre múltiples fotogramas.
El equipo de Nvidia entrena un modelo de video para generar varios minutos de videos de paseos en auto con una resolución de 512 x 1024 píxeles, alcanzando el estado del arte en la mayoría de las pruebas. Para lograr esto, el equipo entrena Stable Diffusion con datos de video durante un breve período de tiempo en una fase de ajuste fino, y luego agrega capas temporales adicionales detrás de cada capa espacial existente en la red y los entrena con los datos de video.
Además, el equipo entrena a los mejoradores estables de tiempo para generar videos de resolución 1,280 x 2,048 generados a partir de indicaciones de texto. Con Stable Diffusion como base para el modelo de video, el equipo no necesita entrenar un nuevo modelo desde cero y puede aprovechar las capacidades y métodos existentes.
Lo más interesante de este avance es que el modelo se puede personalizar con Dreambooth, generando videos con objetos que no formaban parte de los datos de entrenamiento originales. Esto abre nuevas posibilidades para creadores de contenido que podrían usar DreamBooth para personalizar su contenido de video.
En resumen, el modelo de texto a video de Nvidia es un avance importante en la síntesis de video de alta resolución. Con la capacidad de personalizar el modelo utilizando Dreambooth, se abre un mundo completamente nuevo de posibilidades para la creación de contenido de video personalizado y único.
Libro recomendado sobre inteligencia artificial:
