Falando nisso, fiquei curioso sobre o tempo que leva para gerar esses vídeos.. se uma imagem de IA já levava uns "30 segundos", um vídeo de 1 minuto deve demorar 24 frames * 60s de duração * 30s de renderização = bastante.
Se não usa, mais cedo ou mais tarde vai usar.
Criar frame a frame, mesmo para um IA, é muito tempo de produção. Não faz sentido.
A ideia é o IA usando as ferramentas existes, ser capaz de executar o mais rápido possível os trabalhos propostos. Se não eles começam a querer reinventar a roda, o que não faz muito sentido.
Além disso, esses bugs mencionados, podem ocorrer mesmo tendo um engine por trás, visto que tudo vai depender do código escrito.
Isto é como em bugs de jogos, que as vezes os cálculos não são corretos, e vemos carros a ultrapassar paredes sem danificar.
Penso dessa mesma forma. O caminho mais "correto" é uma engine por trás fomentando tudo. Pois criar frame a frame, assim como o GIF que postei aqui outro dia, fica inviável. E o que eles apresentaram é algo que foge bastante do comum.