Texto a vídeo

¿Qué es el texto a vídeo?

Si el texto a imagen es «una frase por una imagen», el texto a vídeo es «una frase por un clip». Escribes «un Shiba Inu corriendo por la nieve, con la luz filtrándose entre las ramas» y el modelo genera un vídeo corto que coincide.

¿Por qué es más difícil que el texto a imagen?

Ahora hay una dimensión de tiempo
Una imagen solo tiene que acertar en un fotograma; un vídeo tiene que mantener coherencia en todos: el movimiento debe verse natural, la luz estable y las tomas sin fallos.
La física tiene que cuadrar
Cómo fluye el agua, cómo camina una persona, cómo se mueve el pelo — tiene que encajar con la realidad o se nota falso al instante.
Cuesta mucha más computación
Generar decenas de fotogramas coherentes es un orden de magnitud más caro que una imagen.

¿Cómo funciona?

El enfoque dominante sigue apoyándose en modelos de difusión: entender el texto y luego generar fotogramas consecutivos desde ruido manteniéndolos consistentes. Algunos modelos también toman prestadas ideas de «modelo de mundo», dándole a la IA algo de sentido común físico para que las escenas se vean más creíbles.

¿Qué está cambiando?

Spots publicitarios, piezas conceptuales de cine, animaciones didácticas, vídeos creativos para redes — cosas que antes necesitaban equipo y presupuesto ahora pueden arrancar con una persona y una frase. El texto a vídeo está bajando la barrera de «hacer vídeo» a algo parecido a publicar un estado.

En resumen: el texto a vídeo le añade la dimensión del tiempo al texto a imagen, haciendo que los fotogramas fijos se muevan y fluyan juntos.