就像滾熱的油鍋中，撒進了一大把海鹽－Sora來了。

當地時間2月15日， 人工智慧研究公司OpenAI，發布了首個影片生成模型Sora ——「世界模擬器」。當Sora影片亮相時，「世界」被「模擬」後的震撼撲面而來：僅依靠幾句文字提示語，Sora自動生成了雪地裡撒歡的大狗、咖啡裡破浪的帆船、街景裡雪舞的櫻花，惟妙惟肖、纖毫畢露、幾可亂真。

Sora帶來的震撼，讓許多人驚愕不已。

人工智慧（AI）發展至今，本質上是機器透過模仿、學習人類的智能，接近、達到（甚至超過）人類的智能，以幫助減輕人類的勞動、提升人類的能力。它是人類主導、模擬人類智慧的科學，人們透過設計學習路徑——建模，讓機器反覆學習以具備特定能力。

這種運作方式，近乎於手作工作坊。想要生產什麼樣的產品，就提供什麼樣的學習圖紙，然後機器對應重複學習，由此具備設定的能力。Sora的意義在於，只需要提供一些提示性的文字語言，它就會自動產生人類想要的場景。這就意味著，Sora會理解人類的思想！

Sora亮相的那天，大家最初都驚訝於文（字）生視頻的逼真性和清晰度。這當然不容易。例如那條雪地上撒歡的大狗，毛髮絲絲閃亮發光，十分清晰逼真。如果跟現在的類似競技pika、 Runway、 Stable Video等對比，幾乎是資訊時代與石器時代的差別。

類似效果，以前需要人工一筆筆畫出毛髮，然後建模渲染，以形成活生生的形象，成品也不如Sora。科幻大片《阿凡達》中人物飄逸的長髮、大海裡洶湧的海浪，就是一大批人一筆筆畫了好幾個月後，在電腦幫助下製作出來的。Sora能自動即時產生如此生動的視訊影像，當然不容易。

Sora 更震撼的，是影片產生、生成的過程。它依據給出的文字提示，能理解其中蘊含的信息，準確地轉換（想像）成匹配的圖像場景，最終形成符合人類意圖可長達一分鐘的視頻。Sora具備的理解能力、從文字到圖像的想像力，已接近人類特有的複雜想像判斷能力，這是最關鍵、最有意義的。

例如人類對海浪的認知，並不需要透過一幀影像建模來實現，只要見過大海的人，馬上就會想像生成圖景。Sora，就具備了某些這樣的從文字想像到圖像的能力。它反映了對物理世界的理解，已經從文字進到圖像，從圖像轉到對這個世界3D環境的理解。相較於一年多前同樣由OpenAI發布的chatGPT，已經從文字理解、文字解讀的一維層面，躍升到文字直接生成視頻的二維和三維層面。這是質的巨大飛躍。

根據技術團隊透露的訊息，Sora的誕生，有著許多與眾不同、與以往不同的方式。

第一是解構影片。將極大數量的各類視訊（可視資料）碎片化，轉換為可統一標識的特定編碼，以便在輸入資訊時認知。第二，影片與文字的巨大不同在於有複雜的格式差異，Sora著重細化了不同解析度、持續時間和縱橫比的影片和影像的解析和標識，方便應用時可組合成不同需求的影片。第三，將可視資料轉換成資料包。這是非常重要的一步，碎片化、精細化的數據，只有透過一​​定組合的資料包，才能被有效、可擴展的運用。第四，建立高度描述性的轉譯者模型。它具有兩方面作用，一方面大量訓練學習帶有文本解讀的視頻，理解每一幀畫麵包含的文本意義；另一方面，接受文本傳遞的信息，學習訓練得到相應的畫面和圖像。

Sora還充分利用了一年多前誕生的GPT技術，將用戶提供的簡短文字提示，先由GPT轉換為更長的詳細描述，再發送給視頻模型，這大大提高了按照用戶提示生成高質量視頻的精準度。從這個意義上來說，GPT其實是Sora得以誕生的關鍵一步。

Sora的出現，是人工智慧領域一次重要的進步。它自動解析文字描述，以真實物理定律孿生虛擬數位世界，重建真實世界與虛擬空間互動。它能夠將人們的想像轉化為生動的動態畫面，將文字的魔力轉化為視覺的饗宴。它也預示著一個全新視覺敘事時代的到來，將為傳媒、影視、教育等諸多產業，帶來印象深刻的改變。

“以前不相信是真的，現在不相信是假的。”（新民週刊）

【導讀】 Google全新視訊生成模型VideoPoet再次引領世界！十秒超長影片生成效果碾壓Gen-2，還可進行音訊生成，風格轉換。

AI影片生成，或許就是2024年下一個最前沿（juan）的領域。

回看過去幾個月，RunWay的Gen-2、Pika Lab的Pika 1.0，國內大廠等大波視訊生成模型紛紛湧現，不斷迭代升級。

不，RunWay一大早就宣布Gen-2支援文字轉語音的功能了，可以為影片創建畫外音。

當然，Google在影片產生上也不甘落後，先是與史丹佛李飛飛團隊共同發表了WALT，用Transformer產生的逼真影片引來大波關注。

今天，Google團隊又發布了一個全新的影片生成模型VideoPoet，而且無需特定資料即可產生影片。

論文地址：https://blog.research.google/2023/12/videopoet-large-language-model-for-zero.html

最令人驚嘆的是，VideoPoet一次能夠生成10秒超長，且連貫大動作視頻，完全碾壓Gen-2僅有小幅動作的視頻生成。

另外，與領先模型不同的是，VideoPoet並非基於擴散模型，而是多模態大模型，便可擁有T2V、V2A等能力，或將成為未來視訊生成的主流。

不如，接下來可以先看一波體驗。

在文字到影片的轉換中，生成的影片長度是可變的，並且能夠根據文字內容展現出多種動作和風格。

VideoPoet還可以根據給定的提示，將輸入的圖像轉換成動畫。

左：一艘船在波濤洶湧的海面上航行，周圍是雷電交加的景象，以動態油畫風格呈現

右：一位拄著手杖的旅人站在懸崖邊，凝視著風中翻騰的海霧

對於視訊風格化，VideoPoet先預測光流和深度訊息，然後再將額外的文字輸入到模型中。

左：袋熊戴著墨鏡，在陽光明媚的海灘上拿著沙灘球

中：泰迪熊在清澈的冰面上滑冰

右：一隻金屬獅子在熔爐的光芒下咆哮

從左到右：逼真，數位藝術，鉛筆藝術，水墨，雙重曝光，360度全景

如下，首先從模型中產生2秒鐘的動畫片段，然後在沒有任何文字引導的情況下嘗試預測音訊。這樣就能從一個模型中產生視訊和音訊。

通常情況下，VideoPoet以縱向的方式產生視頻，以便與短片視頻的輸出一致。

谷歌也專門做了一部由VideoPoet產生的許多短片組成的簡短電影。

具體文字比編排上，研究人員要求Bard先寫一個關於一隻旅行浣熊的短篇故事，並附帶場景分解和提示清單。然後，為每個提示產生影片片段，並將所有產生的片段拼接在一起，製作出下面的最終影片。

透過隨時間變化的提示，可以創造視覺上的故事敘述。

擴展：一個由水構成的行走的人。背景中有閃電，同時從這個人身上散發出紫色的煙霧

輸入：兩隻浣熊騎著摩托車在松樹環繞的山路上行駛，8 k

擴展：兩隻浣熊騎著摩托車。流星雨從浣熊身後墜落，撞擊地面並引發爆炸

目前，Gen-2、Pika 1.0視屏生成的表現足以驚人，但是遺憾的是，無法在連貫大幅動作的視頻生成上表現驚艷。

通常，它們在產生較大動作時，影片會出現明顯的偽影。

對此，Google研究人員提出了VideoPoet，能夠執行包括文字到視訊、圖像到視訊、視訊風格化、視訊修復/擴展和視訊到音訊等多樣化的視訊生成任務。

相較於其他模型，Google的方法是將多種視訊生成功能無縫整合到單一的大語言模型中，而不依賴針對各個任務分別訓練的專用組件。

具體來說，VideoPoet主要包含以下幾個元件：

- 預先訓練的MAGVIT V2視訊tokenizer和SoundStream音訊tokenizer，能將不同長度的影像、視訊和音訊剪輯轉換成統一詞彙表中的離散程式碼序列。這些程式碼與文字型語言模型相容，便於與文字等其他模態結合。

- 自回歸語言模型可在視訊、圖像、音訊和文字之間進行跨模態學習，並以自回歸方式預測序列中下一個視訊或音訊token。

- 在大語言模型訓練框架中引入了多種多模態生成學習目標，包括文本到視頻、文本到圖像、圖像到視頻、視頻幀延續、視頻修復/擴展、視頻風格化和視頻到音頻等。此外，這些任務可以相互結合，實現額外的零樣本功能（例如，文字到音訊）。

VideoPoet能夠在各種以視訊為中心的輸入和輸出上進行多工處理。其中，LLM可選擇將文字作為輸入，來指導文字到影片、圖像到影片、影片到音訊、風格化和擴圖任務的生成

使用LLM進行訓練的一個關鍵優勢是，可以重複使用現有LLM訓練基礎設施中引入的許多可擴展的效率改進。

不過，LLM是在離散token上運行的，這可能會為視訊生成帶來挑戰。

幸運的是，視訊和音訊tokenizer，可以將視訊和音訊剪輯編碼為離散token序列（即整數索引），並可以將其轉換回原始表示。

VideoPoet訓練一個自回歸語言模型，透過使用多個tokenizer（用於視訊和圖像的MAGVIT V2，用於音訊的SoundStream）來跨視訊、圖像、音訊和文字模態進行學習。

一旦模型根據上下文產生了token，就可以使用tokenizer解碼器將這些token轉換回可查看的表示形式。

VideoPoet任務設計：不同模態透過tokenizer編碼器和解碼器與token相互轉換。每個模態周圍都有邊界token，任務token表示要執行的任務類型

彙整鉅亨號中所有使用「影片生成模型」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

新民一週| SORA的震撼

谷歌10秒影片生成模型破世界紀錄！LLM終結擴散模型，效果碾壓頂流Gen-2