MOFA-Video是一種能夠?qū)螐垐D片通過各種控制信號動畫化的方法。它采用了稀疏到密集(S2D)運動生成和基于流的運動適應(yīng)技術(shù)，可以有效地使用軌跡、關(guān)鍵點序列及其組合等不同類型的控制信號來動畫化單張圖片。在訓(xùn)練階段，通過稀疏運動采樣生成稀疏控制信號，然后訓(xùn)練不同的MOFA-Adapters來通過預(yù)訓(xùn)練的SVD生成視頻。在推理階段，不同的MOFA-Adapters可以組合起來共同控制凍結(jié)的SVD。

需求人群：

"MOFA-Video主要面向需要將靜態(tài)圖像轉(zhuǎn)化為動態(tài)視頻的專業(yè)人士和研究人員，如動畫制作者、游戲開發(fā)者、視覺效果設(shè)計師等。它能夠提供高度的控制性和靈活性，使得用戶可以根據(jù)需要生成各種動態(tài)效果。"

MOFA-Video 它支持運動軌跡、人臉關(guān)鍵點并支持將其混合控制圖像轉(zhuǎn)換為視頻。

混合控制: 結(jié)合圖像、控制信號和關(guān)鍵點生成動畫。

運動畫筆: 結(jié)合圖像、軌跡和畫筆生成動畫。

控制比例: 調(diào)整動畫的控制比例，從純 SVD 到完全控制。

通過光流直接控制: 利用圖像和光流直接生成動畫。

使用場景示例：

動畫制作者使用MOFA-Video將角色設(shè)計圖轉(zhuǎn)化為動態(tài)動畫。

游戲開發(fā)者利用MOFA-Video為游戲角色添加動態(tài)表情和動作。

視覺效果設(shè)計師使用MOFA-Video生成具有特定運動軌跡的視頻效果。

產(chǎn)品特色：

軌跡基礎(chǔ)圖像動畫：使用軌跡控制信號生成動畫。

關(guān)鍵點基礎(chǔ)面部圖像動畫：從驅(qū)動視頻或音頻中提取關(guān)鍵點進行動畫。

零樣本功能：包括混合控制、運動畫筆、控制規(guī)模和直接通過光流控制。

架構(gòu)分析：MOFA-Adapter的架構(gòu)分析，包括有無變形、調(diào)整和S2D技術(shù)的效果對比。

領(lǐng)域特定調(diào)整：展示領(lǐng)域特定調(diào)整前后的效果對比。

技術(shù)特點

MOFA-Video的核心功能是它的多功能性和高度的用戶交互性。用戶可以像使用畫筆一樣，在視頻上指引運動的方向和路徑。更為先進的是，這項技術(shù)還可以實現(xiàn)面部表情的轉(zhuǎn)移，即將一個視頻中的表情遷移到另一個全新生成的視頻中，從而創(chuàng)造出具有不同情緒表達的新角色。

此外，MOFA-Video通過其多域感知運動適配器，可以精確控制視頻中的每一個細節(jié)動作，無論是簡單的表情變化還是復(fù)雜的動作場景。它的技術(shù)實現(xiàn)基于穩(wěn)定的視頻擴散模型，這種模型能夠通過接收稀疏的運動提示來生成密集的運動場，實現(xiàn)從靜態(tài)圖像到動態(tài)視頻的轉(zhuǎn)換。

應(yīng)用潛力

MOFA-Video技術(shù)在多個領(lǐng)域都展示了廣泛的應(yīng)用潛力。在電影制作、游戲開發(fā)、虛擬現(xiàn)實和增強現(xiàn)實等行業(yè)，這種技術(shù)不僅能提高生產(chǎn)效率，還能為創(chuàng)意表達提供更多可能性。例如，電影導(dǎo)演可以使用這項技術(shù)來實現(xiàn)復(fù)雜的動作場景，而游戲開發(fā)者可以創(chuàng)造出更為逼真的角色動作。

用戶體驗與實時表現(xiàn)

MOFA-Video還特別強調(diào)了用戶體驗和實時性能。它提供了一個基于Gradio的簡單易用的用戶界面，即使是沒有編程技能的用戶也能輕松地生成動畫。這一點在需要快速動畫生成的應(yīng)用場景，如實時游戲動畫和虛擬現(xiàn)實交互中，顯得尤為重要。

未來展望

隨著MOFA-Video技術(shù)的不斷進化，我們有理由相信它將推動動畫和創(chuàng)意產(chǎn)業(yè)的新發(fā)展，為未來的視頻生產(chǎn)和動畫制作開辟新的可能性。它的零樣本學(xué)習(xí)能力和多模態(tài)控制功能，將使動畫制作更加靈活和多樣化，滿足未來市場對于高質(zhì)量動畫內(nèi)容的需求。

綜上所述，騰訊的MOFA-Video不僅是技術(shù)的一次重大突破，也是對創(chuàng)意和媒體產(chǎn)業(yè)未來發(fā)展的一次重要貢獻。我們期待這項技術(shù)在未來能夠帶來更多創(chuàng)新和突破，為用戶和產(chǎn)業(yè)帶來更多價值。

效果

基于軌跡的動畫

基于關(guān)鍵點的面部圖像動畫

· 來自驅(qū)動視頻的關(guān)鍵點

· 驅(qū)動音頻的關(guān)鍵點

零樣本功能

· 混合控制

· 運

動畫筆

· 通過光流

消融研究

更新日志：

我們發(fā)布了基于關(guān)鍵點的臉部圖像動畫推理腳本