【新智元導讀】 GoogleResearch Lead，負責VideoPoet計畫的蔣路，即將加入TikTok，負責影片產生AI的開發。

谷歌VideoPoet計畫Research Lead，CMU兼職教授蔣路的Google Scholar資料顯示已加入TikTok。

最近，有傳聞TikTok招募了某篇論文的作者作為北美技術部門負責人，研發能和Sora對抗的影片生成AI。

而蔣路3週前在Linkedin上發布了離職谷歌的消息，也向外界揭開了謎底。

他身為GoogleVideoPoet計畫的負責人，將離開Google Research，不過會留在灣區，繼續影片產生領域的工作。

「人才第一，數據第二，算力第三」，謝賽寧的AI突破「3要素」，已經為大廠在未來建構自己的AI護城河指明了方向。

而蔣路帶領Google團隊在去年年底推出了在技術路線上與Sora相似的視訊生成技術：VideoPoet，讓他成為了世界上為數不多的有能力構建最前沿AI視頻生成技術的科學家。

VideoPoet在Sora發布之前就已經將AI影片的前沿推進到了生成10秒長，一致性非常強，動作幅度大且連貫的影片。

而同時，他也是CMU的兼任教授，有非常豐富的科學研究經驗與成果。

蔣路這樣既有深厚的理論功底，又有最前沿大型專案的工程和管理經驗的複合型專家，自然成為了大廠必爭的AI基石型人才。

蔣路在Google擔任研究科學家和管理職位，同時也是卡內基美隆大學計算機科學學院語言技術研究所的兼任教授。

在CMU，他不僅指導研究生的研究項目，也親自講授課程。

他的研究成果在自然語言處理（ACL）和電腦視覺（CVPR）等領域的頂級會議上獲得佳績，也曾在ACM ICMR、IEEE SLT 和NIST TRECVID等重要會議上獲獎。

他的研究對多款Google產品的開發和改進起到了至關重要的作用：包括YouTube、Cloud、Cloud AutoML、Ads、Waymo和Translate 等。

這些產品每天服務全球數十億用戶。

除了上述這些內容以外，還有另一個側面能很好地說明蔣路學術水平的高度：他與眾多電腦視覺和自然語言處理領域的頂尖研究者都有過合作。

2017至2018年期間，他是Google Cloud AI首批研究團隊的創始成員，由李佳博士和李飛飛博士親自挑選。

隨後，他加入了Google Research，與Weilong Yang博士（2019-2020）、Ce Liu博士（2020-2021）、Madison Le（2021-2022）和Irfan Essa博士（2023）等人都有合作。

此外，在卡內基美隆大學讀博期間，他的論文由Tat-Seng Chua博士和Louis-Philippe Morency博士共同指導。2017他在Alexander Hauptmann博士和Teruko Mitamura博士的幫助下成功畢業。

在雅虎、谷歌和微軟研究院的實習時，得到了Liangliang Cao博士、Yannis Kalantidis博士、Sachin Farfade、Paul Natsev博士、Balakrishnan Varadarajan博士、Qiang Wang博士和Dongmei Zhang博士等人的指導。

從他在領英上的履歷可以看出，許多科技大廠都留有過他的足跡。

而在畢業前，他在雅虎，谷歌，微軟都實習過。

他本科畢業於西安交通大學，研究生畢業於布魯塞爾自由大學，博士畢業於CMU。

他在Google帶領的團隊在去年底推出的VideoPoet，已經用Transformer取代了傳統的UNet，成為AI影片生成當時的SOTA.

這項成就，也成為了TikTok相中他最主要的原因。

相較於只能生成小幅動作的Gen-2，VideoPoet一次能夠生成10秒超長，且連貫大動作視頻，可以說是實現了完全碾壓！

另外，VideoPoet也並非基於擴散模型，而是多模態大模型，可擁有T2V、V2A等能力，或將成為未來視訊生成的主流。

相較於其他模型，Google的方法是將多種視訊生成功能無縫整合到單一的大語言模型中，而不依賴針對各個任務分別訓練的專用組件。

具體來說，VideoPoet主要包含以下幾個元件：

- 預先訓練的MAGVIT V2視訊tokenizer和SoundStream音訊tokenizer，能將不同長度的影像、視訊和音訊剪輯轉換成統一詞彙表中的離散程式碼序列。這些程式碼與文字型語言模型相容，便於與文字等其他模態結合。

- 自回歸語言模型可在視訊、圖像、音訊和文字之間進行跨模態學習，並以自回歸方式預測序列中下一個視訊或音訊token。

- 在大語言模型訓練框架中引入了多種多模態生成學習目標，包括文本到視頻、文本到圖像、圖像到視頻、視頻幀延續、視頻修復/擴展、視頻風格化和視頻到音頻等。此外，這些任務可以相互結合，實現額外的零樣本功能（例如，文字到音訊）。

VideoPoet能夠在各種以視訊為中心的輸入和輸出上進行多工處理。其中，LLM可選擇將文字作為輸入，來指導文字到影片、圖像到影片、影片到音訊、風格化和擴圖任務的生成

使用LLM進行訓練的一個關鍵優勢是，可以重複使用現有LLM訓練基礎設施中引入的許多可擴展的效率改進。

不過，LLM是在離散token上運行的，這可能會為視訊生成帶來挑戰。

幸運的是，視訊和音訊tokenizer，可以將視訊和音訊剪輯編碼為離散token序列（即整數索引），並可以將其轉換回原始表示。

VideoPoet訓練一個自回歸語言模型，透過使用多個tokenizer（用於視訊和圖像的MAGVIT V2，用於音訊的SoundStream）來跨視訊、圖像、音訊和文字模態進行學習。

一旦模型根據上下文產生了token，就可以使用tokenizer解碼器將這些token轉換回可查看的表示形式。

VideoPoet任務設計：不同模態透過tokenizer編碼器和解碼器與token相互轉換。每個模態周圍都有邊界token，任務token表示要執行的任務類型

相較於先前的影片生成模型，VideoPoet有這麼三個比較大的優勢。

一個是能產生更長的視頻，一個是用戶能對生成的視頻有更好的控制能力，最後一個則是VideoPoet還可以根據文本提示，生成不同的運鏡手法。

而在測試中，VideoPoet也是拔得頭籌，碾壓了不少其它視訊生成模型。

文字保真度的使用者偏好評級，即在準確遵循提示方面首選影片的百分比

使用者對動作趣味性的偏好評級，即在產生有趣的動作方面，首選影片的百分比

綜上可見，平均有24-35%的人認為VideoPoet產生的範例比其他模型更遵循提示，而其他模型的比例僅為8-11%。

此外，41%-54%的評估者認為VideoPoet中的範例動作更有趣，而其他模型只有11%-21%。

而有關未來的研究方向，谷歌研究人員表示，VideoPoet框架將會實現“any-to-any”的生成，例如擴展文本到音頻、音頻到視頻，以及視頻字幕等等。（新智元）

https://scholar.google.com/citations?user=jIKjjSYAAAAJ&hl=en

最近一波視訊生成模型突然出現，在許多情況下展示了令人驚嘆的如畫質量，例如Runway、Pika。然而目前影片產生的瓶頸之一是產生連貫大運動的能力。在許多情況下，即使是目前領先的大模型也會產生較小的運動，或者當產生較大的運動時，會表現出明顯的偽影。

谷歌剛剛發布了零鏡頭視訊生成大模型VideoPoet。

它能夠執行各種視訊生成任務，包括文字到視訊、圖像到視訊、視訊風格化、視訊修復和修復，以及視訊轉音訊。該工具被感嘆是一個突破性文生視訊工具。

目前市場上一些領先的視訊生成模型都是基於擴散的，然而，VideoPoet 不是。

VideoPoet 的重要特點之一是，它將許多視訊生成功能無縫整合在單一大模型中，而不是依賴專門針對每個任務的單獨訓練的組件。

白皮書：https://storage.googleapis.com/videopoet/paper.pdf

研究論文：https://blog.research.google/2023/12/videopoet-large-language-model-for-zero.html

VideoPoet 是一種簡單的建模方法，可以將任何自回歸語言模型或大型語言模型（LLM）轉換為高品質的視訊產生器。它包含一些簡單的組件：

預先訓練的MAGVIT V2 視訊分詞器和SoundStream 音訊分詞器將可變長度的影像、視訊和音訊剪輯轉換為統一詞彙表中的離散程式碼序列。這些程式碼與基於文字的語言模型相容，有助於與文字等其他模式的整合。

自回歸語言模型跨視訊、圖像、音訊和文字模態學習，以自回歸預測序列中的下一個視訊或音訊Token。

大模型訓練框架引入了多模態生成學習目標的混合，包括文本到視頻、文本到圖像、圖像到視頻、視頻幀延續、視頻修復和修復、視頻風格化和視頻到視頻-聲音的。此外，這些任務可以組合在一起以獲得額外的零樣本功能（例如文字到音訊）。

這個簡單的秘訣表明，語言模型可以合成和編輯具有高度時間一致性的影片。VideoPoet 展示了最先進的視訊生成功能，特別是在產生各種大型、有趣且高保真度的動作方面。VideoPoet 模型支援生成方形或縱向視頻，以針對短格式內容自訂生成視頻，並支援從視頻輸入生成音頻。

下圖說明了VideoPoet 的功能。輸入圖像可以被動畫化以產生運動，並且（可以選擇裁剪或遮罩）影片可以被編輯以進行修復或修復。對於風格化，該模型接收代表深度和光流（代表運動）的視頻，並在頂部繪製內容以產生文字引導的風格。

VideoPoet 概述，能夠在各種以視訊為中心的輸入和輸出上執行多工作業。這個大模型可以選擇將文字作為輸入來指導文字到影片、圖像到影片、影片到音訊、風格化和繪畫任務的生成。

1. 能產生更長的視頻，或說任意時長的視頻

目前市場上的視頻生成模型一般僅能生成很短的視頻，1秒、2 秒......默認情況下，VideoPoet 輸出2 秒的視頻，但該模型還能夠通過給定1 秒視頻剪輯的輸入來預測1 秒的視訊輸出來產生長視訊。這個過程可以無限地重複，以產生任意時長的影片。儘管輸入上下文很短，但模型顯示出先前作品中未見的強大的物件身份保留，如這些較長持續時間的剪輯所示。

VideoPoet 任務設計詳細圖，顯示各種任務的訓練和推理輸入和輸出。使用Tokenizer 編碼器和解碼器將模態與標記進行轉換。每個模態都被邊界Token 包圍，任務Token 指示要執行的任務類型。

VideoPoet 模型可以編輯主題以遵循不同的動作，例如舞蹈風格。在下面的範例中，模型使用不同的提示處理相同的輸入剪輯。

還可以進行互動式編輯，將輸入影片延長較短的持續時間並從範例清單中進行選擇。透過從候選清單中選擇最佳視頻，可以從較大的生成視頻中精細地控制所需運動的類型。

VideoPoet 可以取得任何輸入影像並產生與給定文字提示相符的影片。

VideoPoet 還能夠根據文字提示對輸入影片進行風格化，並展示風格上令人愉悅的提示遵守情況。

可以在文字到影片的生成中輕鬆組合樣式和效果。我們從一個基本提示開始，並向其附加一個樣式。

VideoPoet 預先訓練的一個新興特性是，透過在文字提示中指定攝影機鏡頭的類型，可以實現很大程度上高品質的攝影機運動客製化。

我們的模型生成的一些示例如下所示：

VideoPoet 根據各種文字提示產生的視頻，參考來源：https://sites.research.google/videopoet/

對於文字到視頻，視頻輸出的長度是可變的，並且可以根據文字內容應用一系列動作和样式。為了確保負責任的做法，我們參考公共領域的藝術品和風格，例如梵谷的「星夜」。

1. “浣熊在時代廣場跳舞” A Raccoon dancing in Times Square

2. “一匹馬在梵谷的《星夜》中馳騁”A horse galloping through Van-Gogh's 'Starry Night'

3. “兩隻熊貓打牌”Two pandas playing cards

4. 「一大團爆炸飛濺的彩虹油漆，出現一個蘋果，8k」 A large blob of exploding splashing rainbow paint, with an apple emerging, 8k

對於圖像到視頻，VideoPoet 可以獲取輸入圖像並透過提示將其動畫化。

帶有文字提示來引導動作的圖像到影片的範例。每個影片都與其左側的圖像配對。

左：“一艘在波濤洶湧的大海、雷暴和閃電中航行的船，畫布上的動畫油畫。”

中：“飛過有許多閃爍星星的星雲。”

右：“大風天，一個拄著拐杖站在懸崖上的流浪者，俯視著下面旋轉的海霧。”

對於視訊風格化，我們在將一些額外的輸入文字輸入VideoPoet 之前預測光流和深度資訊。

在VideoPoet 文字到影片產生的影片之上進行影片風格化的範例，其中使用文字提示、深度和光流作為調節。每對中的左側視頻是輸入視頻，右側是風格化輸出。

左：“戴著墨鏡的袋熊在陽光明媚的海灘上拿著沙灘球。”

中：“泰迪熊在清澈的冰凍湖面上滑冰。”

右：“一隻金屬獅子在熔爐的光芒下咆哮。”

VideoPoet 也能夠產生音訊。在這裡，我們首先從模型生成2 秒的剪輯，然後嘗試在沒有任何文字指導的情況下預測音訊。這使得能夠從單一模型生成視訊和音訊。

預設情況下，VideoPoet 模型會產生縱向視頻，以根據短格式內容自訂其輸出。為了展示其功能，我們製作了一部由VideoPoet 產生的許多短片組成的短片。對於劇本，我們要求巴德寫一個關於一隻旅行浣熊的短篇故事，並附有逐個場景的分解和附帶的提示列表。然後，我們為每個提示生成視訊剪輯，並將所有生成的剪輯拼接在一起以產生下面的最終視訊。

“一名宇航員開始在火星上跳舞，然後五彩繽紛的煙火在背景中爆炸。”

“叢林中非常鋒利的精靈石城的FPV 鏡頭，有明亮的藍色河流、瀑布和大而陡峭的垂直懸崖面。”

【導讀】 Google全新視訊生成模型VideoPoet再次引領世界！十秒超長影片生成效果碾壓Gen-2，還可進行音訊生成，風格轉換。

AI影片生成，或許就是2024年下一個最前沿（juan）的領域。

回看過去幾個月，RunWay的Gen-2、Pika Lab的Pika 1.0，國內大廠等大波視訊生成模型紛紛湧現，不斷迭代升級。

不，RunWay一大早就宣布Gen-2支援文字轉語音的功能了，可以為影片創建畫外音。

當然，Google在影片產生上也不甘落後，先是與史丹佛李飛飛團隊共同發表了WALT，用Transformer產生的逼真影片引來大波關注。

今天，Google團隊又發布了一個全新的影片生成模型VideoPoet，而且無需特定資料即可產生影片。

論文地址：https://blog.research.google/2023/12/videopoet-large-language-model-for-zero.html

最令人驚嘆的是，VideoPoet一次能夠生成10秒超長，且連貫大動作視頻，完全碾壓Gen-2僅有小幅動作的視頻生成。

另外，與領先模型不同的是，VideoPoet並非基於擴散模型，而是多模態大模型，便可擁有T2V、V2A等能力，或將成為未來視訊生成的主流。

不如，接下來可以先看一波體驗。

在文字到影片的轉換中，生成的影片長度是可變的，並且能夠根據文字內容展現出多種動作和風格。

VideoPoet還可以根據給定的提示，將輸入的圖像轉換成動畫。

左：一艘船在波濤洶湧的海面上航行，周圍是雷電交加的景象，以動態油畫風格呈現

右：一位拄著手杖的旅人站在懸崖邊，凝視著風中翻騰的海霧

對於視訊風格化，VideoPoet先預測光流和深度訊息，然後再將額外的文字輸入到模型中。

左：袋熊戴著墨鏡，在陽光明媚的海灘上拿著沙灘球

中：泰迪熊在清澈的冰面上滑冰

右：一隻金屬獅子在熔爐的光芒下咆哮

從左到右：逼真，數位藝術，鉛筆藝術，水墨，雙重曝光，360度全景

如下，首先從模型中產生2秒鐘的動畫片段，然後在沒有任何文字引導的情況下嘗試預測音訊。這樣就能從一個模型中產生視訊和音訊。

通常情況下，VideoPoet以縱向的方式產生視頻，以便與短片視頻的輸出一致。

谷歌也專門做了一部由VideoPoet產生的許多短片組成的簡短電影。

具體文字比編排上，研究人員要求Bard先寫一個關於一隻旅行浣熊的短篇故事，並附帶場景分解和提示清單。然後，為每個提示產生影片片段，並將所有產生的片段拼接在一起，製作出下面的最終影片。

透過隨時間變化的提示，可以創造視覺上的故事敘述。

擴展：一個由水構成的行走的人。背景中有閃電，同時從這個人身上散發出紫色的煙霧

輸入：兩隻浣熊騎著摩托車在松樹環繞的山路上行駛，8 k

擴展：兩隻浣熊騎著摩托車。流星雨從浣熊身後墜落，撞擊地面並引發爆炸

目前，Gen-2、Pika 1.0視屏生成的表現足以驚人，但是遺憾的是，無法在連貫大幅動作的視頻生成上表現驚艷。

通常，它們在產生較大動作時，影片會出現明顯的偽影。

對此，Google研究人員提出了VideoPoet，能夠執行包括文字到視訊、圖像到視訊、視訊風格化、視訊修復/擴展和視訊到音訊等多樣化的視訊生成任務。

彙整鉅亨號中所有使用「VideoPoet」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

谷歌VideoPoet負責人蔣路跳槽TikTok！對標Sora，AI視頻模型大戰在即

可產生無限長視頻，Google最新視頻生成模型VideoPoet 究竟有多強

谷歌10秒影片生成模型破世界紀錄！LLM終結擴散模型，效果碾壓頂流Gen-2