在 AI 繪畫領(lǐng)域，阿里提出的 Composer 和斯坦福提出的基于 Stable diffusion 的 ControlNet 引領(lǐng)了可控圖像生成的理論發(fā)展。但是，業(yè)界在可控視頻生成上的探索依舊處于相對空白的狀態(tài)。

相比于圖像生成，可控的視頻更加復(fù)雜，因為除了視頻內(nèi)容的空間的可控性之外，還需要滿足時間維度的可控性?；诖?，阿里巴巴和螞蟻集團的研究團隊率先做出嘗試并提出了 VideoComposer，即通過組合式生成范式同時實現(xiàn)視頻在時間和空間兩個維度上的可控性。

• 論文地址：https://arxiv.org/abs/2306.02018

• 項目主頁：https://videocomposer.github.io

前段時間，阿里巴巴在魔搭社區(qū)和 Hugging Face 低調(diào)開源了文生視頻大模型，意外地受到國內(nèi)外開發(fā)者的廣泛關(guān)注，該模型生成的視頻甚至得到馬斯克本尊的回應(yīng)，模型在魔搭社區(qū)上連續(xù)多天獲得單日上萬次國際訪問量。

Text-to-Video 在推特

VideoComposer 作為該研究團隊的最新成果，又一次受到了國際社區(qū)的廣泛關(guān)注。

VideoComposer 在推特

事實上，可控性已經(jīng)成為視覺內(nèi)容創(chuàng)作的更高基準，其在定制化的圖像生成方面取得了顯著進步，但在視頻生成領(lǐng)域仍然具有三大挑戰(zhàn)：

• 復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，生成的視頻需同時滿足時間維度上的動態(tài)變化的多樣性和時空維度的內(nèi)容一致性；

• 復(fù)雜的引導(dǎo)條件，已存在的可控的視頻生成需要復(fù)雜的條件是無法人為手動構(gòu)建的。比如 Runway 提出的 Gen-1/2 需要依賴深度序列作條件，其能較好的實現(xiàn)視頻間的結(jié)構(gòu)遷移，但不能很好的解決可控性問題；

• 缺乏運動可控性，運動模式是視頻即復(fù)雜又抽象的屬性，運動可控性是解決視頻生成可控性的必要條件。