【新智元導讀】剛剛,Sora第二波影片放出!穩定的一致性和模擬現實的新鮮度,簡直讓人驚掉下巴。在好萊塢,已經有導演撤掉了自己的8億美元工作室計劃了。
就在昨天,Sora又全新「神作」爆炸成長!
Sora作者,Bill Peebles、Tim Brooks紛紛轉發出全新圖片。(順便還秀了一把基友?)
“一隻小熊貓和一隻巨嘴鳥是最好的朋友,在聖托里尼島的藍色漫步時刻”,皮布爾斯稱這個場景簡直就和走到 OpenAI 辦公室的畫面一模一樣。
一隻小熊貓和一隻巨嘴鳥是最好的朋友,在藍色時刻在聖托里尼島漫步
這段影片的連貫性簡直令人驚呼:在每一格中,小熊貓和巨嘴鳥的形象始終保持一致性。
當然仔細看還是有明顯的破綻。例如小熊貓的腿有時會組成,看起來像卡通形象,而不是像栩栩如生的現實世界在一起。
但總的來說,這樣的影片品質已經足以讓我們對AI影片的未來放飛想像。
有網友趕緊做了配音版,貼切的配音一出,影片多了那個味兒了!
難怪好萊塢大導泰勒佩里直言,自己在觀看索拉製作的影片後,直接擱置了自己影師工作室8億美元的近期計劃!
更多「神作」來襲
這次作者放出了第二批視頻,效果更簡潔、更炸裂。
網友們接連不斷發出驚嘆:Sora是怎麼做到一次比一次迭代得更好的?
這個影片是「一名潛水員發現了一塊隱藏的未來沉船,裡面有控制論海洋生物和先進的外星技術」。
一名水肺潛水員發現了一艘隱藏的未來沉船,其中有控制論海洋生物和先進的外星技術
潛水員、海底景觀、沉船外殼、內部的外星技術都生成得十分寬敞。
當然,這個場景也不是100%完美。立刻有人發現破綻——
例如,潛水員沒有擺動腳蹼就可以遊動起來,也不會吐出氣泡。
好萊塢電影製片人吐槽說:人的動作看起來沒有靈魂,有些像殭屍。
但對於不那麼挑剔的觀眾來說,這個20秒影片的品質已經足夠了。
有人滿意表示:外觀像《深海爭霸戰》的高解析度版本
在以往,這些場景無疑要蘊藏巨資。而現在,好萊塢大片中燒金的高主題場景,都可以用Sora影片取代了,AI淘汰影視產業真不是剛才提到的!
這條閃著珠光的銀色鱗片、擁有冰藍的眼睛和象牙龍角、吐出白氣的小白龍,也讓網友驚呼,太太太震撼了!
一條雄偉的白龍特寫,它擁有珠光銀邊的鱗片、冰冷的藍色眼睛、優雅的象牙角和霧濛濛的氣息。專注於詳細的面部特徵和紋理鱗片,以柔和模糊的背景為背景
它擬人化做得很好,水汪汪的,傳達了非常動人的情感,似乎能像聽懂人的眼睛一樣說話。
《權力的遊戲》中的龍,是這樣的。跟起來比起來,小白龍的差距並不嚴重。
有的網友表示,自己對這條小白龍愛不釋手,直接給它配了個音——
於是一場音樂大賽開始了。
現實場景,是給Sora最難的考題。
在這段「一個人在夏威夷熱帶雨林上空定點跳傘,寵物金剛栗馬在旁邊飛翔」的影片中,索拉再次交出了令人印象深刻的答案。
一名男子在夏威夷熱帶水域進行定點跳傘。他的寵物金剛鸚鵡和他一起飛翔
如此場景,直接有人發問:「是真的視頻還是AI做的?」
配上音後是這樣的,就問會有多少人發現──這不真實的場景?
如果非要找茬,就是金剛鸚鵡的照明不太對,看起來像是單獨做出來的動畫,不像自然條件下的顯示器。
定點跳傘的動作生成得不夠準確,跳躍傘太小。
下面是一隻玻璃烏龜,用金色修復工藝修復,在日落時分走在黑色的沙灘上。
畫面的物理一致性非常完美,沙子的特性也完全還原了。
美中不足的是:烏龜好像只有三條腿?😂
也有人發現「華點」:把沙丘做成崎嶇不平的樣子,是為了讓海龜爬過沙丘後不會留下痕跡嗎?
相較之下,中途生成的玻璃烏龜是這樣的,別有一番風味。
精美的紙藝術世界中的一艘船,海面還有海洋動物躍出。
在一個精美渲染的紙藝世界中,一艘汽船在浩瀚的海洋上航行,天空中有縷縷雲彩。遠處的背景有廣闊的草山,在紙模型海洋表面附近可以看到一些海洋生物
黑暗的霓虹燈黃昏裡,閃耀著奇幻的動植物。
黑暗的霓虹雨林閃爍著夢幻般的動植物和動物
對於這個視頻,也有人挑刺說:“這是我見過的Sora最差的demo,不知道為什麼就生成了向量動畫的風格。”
一隻禿頭眼鏡的貓,出現在20世紀60年代的電視劇電影中。
20 世紀 60 年代間諜電影中戴眼鏡的貓
黃昏時分,一個巨大的半透明水母優雅地飄浮在荒蕪的城市中,還是用35毫米膠卷拍攝的超現實場景。
黃昏時分,一隻巨大的半透明水母優雅地漂浮在荒涼的城市景觀中,超現實的場景隨之展開。該場景是用 35mm 膠片拍攝的
這是一個孤獨提出的立體模型:江戶時代,在木造建築前,一個武士慢慢穿越小鎮。
精心製作的立體模型,描繪了日本江戶時代的寧靜景色。傳統的木造建築。一個孤獨的武士,穿著複雜的盔甲,緩慢地穿過城鎮
一隻造型護目鏡的小胖哈巴狗,坐在舊屍旁的凳子上。
仔細看可以發現,狗狗肚子一呼一吸的樣子,視野非常真實。
一隻戴著護目鏡的胖胖的小哈巴狗坐在一輛舊摩托車旁的凳子上
一隻棕色邊牧的時尚太陽眼鏡,滑著滑板。
一隻棕色和白色的邊境牧羊犬站在滑板上,戴著墨鏡
可怕的事情來了,有人在底下留言稱,棕色邊牧是自己的狗,這個影片是自己拍的。
而我們,竟有那麼一刻恍然了:他說的話究竟是假的?
總之,網友們迫不及待地等待公測了。
還有人給索拉出了神考題——「一部手機正在直播進入黑洞的過程」。
網友猜測:虛幻引擎被用來產生部分資料集?
隨著這些影片的放出,網友心中的疑問也越來越強烈——
Sora模型究竟是用什麼資料訓練的?
網友也覺得,怎麼索拉生成的畫面,看起來有些像曾相識?好像就是直接用虛幻引擎(Unreal Engine)做出來的一樣。
眾多,越來越多人公認:Sora訓練的資料集應該,就是用UE產生的。
其實,在Sora剛誕生時大佬們就紛紛預測——Sora是由遊戲引擎提供支援的。
Pytorch 共同創辦人 Soumith Chintala 就是這麼認為的。
資料科學家和機器學習工程師 Ralph Brooks 也給出了自己的分析:
如果要創建大量不同角度的高清視頻,就需要進行模擬。其中,有很多線索讓我相信,UE5中的一定編程就是用來創建訓練數據的。
比如說廣為人知的櫻花漫步影片中,人物移動的方式與UE5中非常相似。現實中的人行走是不會用恆定速度的。
輝達高級科學家Jim Fan也表示,“如果Sora接受過大量UE5合成資料的訓練,我不會感到驚訝的!”
當然,它可能沒有明確調用 UE5,但非常有可能將 UE5 生成的文本、視訊作為合成數據,添加到集中訓練中。
早有預見中,Sora 的推理管道是用的 CLIP 底座、文本轉 3D 對象,和遊戲引擎模擬。
誠然,「人工訓練資料進展」並不會阻礙LLM的發展,合成才是資料AI的未來!
「專業版」體驗,就藏在技術報告裡!
網友們看到這些世代比一代強的demo,已經心難耐了。
好消息是:雖然Sora還沒有正式開放功能,但在技術報告裡,已經可以小體驗了!
報告網址:https://openai.com/research/video- Generation-models-as-world-simulators
透過選擇不同的關鍵字,例如人物、衣著、天氣環境、斷層等選項,就可以體驗Sora生成的不同影片。
這樣我們就可以看到──a穿著b樣的衣服,在c地點的d天氣下,徒步地散步。
好萊塢大佬直言很害怕,影視業真完蛋了?
這也難怪,好萊塢知名導演、製片人、演員泰勒佩里因為索拉,決定擱置自己的亞特蘭大工作室耗資8億美元的近期計劃。
本來,導演佩里在過去四年裡,一直計劃斥資8億美元將自己的工作室,為佔地330美元的土地增加12個攝影棚。
然而,在2月16日看過Sora製作的影片後,他取消了自己的8億美元計劃,因為他在拍攝的大片中,可能並不需要找景地,或者決定搭建實景了。
「之前,我們只是被告知 AI 可以做這些事,但真的看到它做出來的場景,還是太震撼了!」
Perry導演表示,因為Sora給自己帶來的衝擊非常強烈,8億美元預計計畫已被無限期推遲。
現在,拍電影的時候不再需要親自前往拍攝地點了。
無論是想要科羅拉多的雪地場景、月球上的場景,或是山中劇場拍攝兩個人的場景,都再也不用搭建真實的佈景,只要在辦公室的電腦上,就可以完成一切!
這意味著,巨大的變化將波及產業的每個角落,影響演員、燈光、運輸、音效和剪輯等所有從業者的飯碗。
現在,Perry 導演已經在兩部電影中的現場拍攝和後製中使用了 AI,避免了文物數小時為演員畫老年妝。
索拉的出現徹底改變了遊戲規則。
以往,HBO的試播可能需要耗資1500萬、2000萬相當於3500萬美元,而現在,這個成本低到難以想像。公司顯然會選擇成本高昂的方案。
在不遠的將來,很多工作都會消失。
影視業要建立怎樣的安全防護措施,保住大家的飯碗?(新智元)
參考資料:
https://www.hollywoodreporter.com/business/business-news/tyler-perry-ai-alarm-1235833276/
https://twitter.com/JMT3/status/1761443473218240558
https://twitter.com/_tim_brooks/status/1761236971186438178
https://twitter.com/model_mechanic/status/1761198301482021084
