【新智元導讀】自數字人技術Omnihuman-1引起行業關注之後，字節智能創作團隊再放大招。全新DreamActor-M1橫空出世，一張照片一段視訊，就能生成電影級視訊，精準遷移表情動作，還支援多種畫風。

還記得前段時間字節跳動備受關注的數字人技術Omnihuman-1嗎？

最近，這支團隊一項基於DiT架構的可控人像視訊生成技術DreamActor-M1，一經發佈，又在推特上引起了超百萬量級的關注——

僅需一張靜態照片和一段驅動視訊，便可生成高品質、達到電影等級的視訊，將人像視訊生成的表現力提升至全新水平！

項目網頁：

https://grisoon.github.io/DreamActor-M1/

論文地址：

https://arxiv.org/pdf/2504.01724

DreamActor-M1不僅能夠保留原圖中的身份特徵，還能精準捕捉並遷移驅動視訊中的動作和表情，呈現出高度逼真的效果，極大地簡化了現有的動作捕捉、角色動畫以及內容創作流程。

據悉，Omnihuman-1技術已經應用於即夢數字人玩法的「大師模式」而DreamActor-M1模型也將於近期上線即夢AI，使用者將可以在「數字人」-「動作模仿」功能下體驗新模型。相比已有的動作模倣傚果，在生成內容逼真度、畫風支援、畫面比例支援等多個方面將大幅最佳化。

方案介紹

先一起來看看DreamActor-M1的效果：

瑪麗蓮夢露不僅能夠精準復刻參考視訊的動作，保持語音和口型一致，手臂大幅度擺動也不會出現嚴重的變形或虛影

在日光下，男子隨著參考視訊動作的同時，能看到光影相應的變化

與以往方法不同，DreamActor-M1採用多控制訊號混合驅動架構，能夠精準還原從眼神等細膩表情到肢體動作的各類表現，可驅動從真人到卡通的不同形象，支援從肖像畫幅到全身畫幅的多種畫幅，顯著增強了單圖視訊驅動能力的表現力與易用性。

• 在表情遷移方面，該系統運用隱式Face Motion Tokenizer，通過對大量人像視訊進行自監督訓練，實現對表情細節的精準建模。
• 在動作遷移方面，採用3D頭部球體和3D身體骨架，能夠支援各種風格角色的肢體動作精準遷移。
• 在畫幅支援方面，DreamActor-M1基於DiT架構，並通過大量資料進行多階段訓練，可精準復刻各種畫幅鏡頭，為使用者提供了更廣闊的創作空間。

各種風格角色都支援

技術對比

相較於其他SOTA動作遷移和表情遷移工作，DreamActor-M1在人物ID保持、動作表情還原、視訊生成質量方面都有著更好表現，為高效完成高品質內容創作創造了新的可能性。

• 與動作遷移工作的對比

安全說明

模型上線即夢AI後，平台將對視訊內容進行嚴格的安全稽核，並對輸出視訊加入「AI生成」水印，即夢AI現有的「動作模仿」功能也要求使用者上傳視訊素材需確保擁有合法授權。

團隊介紹

字節跳動智能創作團隊是字節跳動AI&多媒體技術中台，通過建設領先的電腦視覺、音視訊編輯、特效處理等技術，支援抖音、剪映、頭條等公司內眾多產品線；同時為外部ToB合作夥伴提供業界最前沿的智能創作能力與行業解決方案。

其中數字人團隊專注於建設行業領先的數字人生成和驅動技術，豐富智能創作內容生態。該團隊的OmniHuman-1 、PersonaTalk、Loopy、CyberHost等前沿創新的數字人成果均已在即夢AI快速應用，未來還將持續通過即夢AI為使用者帶來新奇和驚喜的體驗。 (新智元)