誰說生成視頻一定要靠AI?零AI含量!隨機生成無限逼真3D視頻!

【AIGC目前能做什麼】

自從2022年11月Openai問世以來,人工智能AI的發展超過了絕大部分人的想像,似乎已經到萬物皆可AI的程度,如果你不懂AI或不會操作相關的AI工具注定就只有被覆滅的份了。

真的是這樣嗎?從目前各種AI工具滿天飛來看,對於大眾而言AI應用最為廣泛是“文本生成”和“圖片生成”。

具體來說,文本生成:包括各種的聊天、文案、以及總結之類的,其本質上還是一種大數據的算法和算力的呈現。

其次圖片生成:包括各種人像生成、漫畫生成、以及改圖修圖等等,其實也是一種大數據算法和算力的作用。

因此,現在的所謂AIGC就是在底層技術上,目前國內外已經差別不是很大了,關鍵在於算力的差距,也就是國內沒辦法使用最好的GPU,所以導致算力上沒有追上。

而在視頻生成領域,目前AIGC雖然也都在涉及,可不是雜亂無章,就是文不對題,因此在視頻生成領域AI目前沒有好的應用。

但就在昨天6月19日,美國的普林斯頓大學投了一枚重磅消息,簡直是石破天驚了。

【不需要AIGC,也可以自動生成3D視頻】

普林斯頓大學研究人員Alexander Raistrick日前發布了一款名為“Infinigen”的開源AI模型,可以幫助人們生成逼真的3D 場景。



據了解,Infinigen 是一款基於開源建模軟件Blender 的免費開源模型,能夠通過隨機數學規則生成一系列自然界的“植物、動物”場景,並且可以通過輸入提示詞來自定義地形,並添加“雲、雨、雪、雷暴、天火”等自然現象。

隨便兩po幾個根據Infinigen生成的視頻,絕對亮瞎你的眼睛。




上面的三個場景全部是使用Infeinigen自動生成的場景,那是怎麼做到的呢?


【Infinigen怎么生成視頻】

Infinigen模型還能夠作為訓練數據的生成器,可提供包括“目標檢測”、“語義分割”、“姿態估計”、“3D重建”、“視圖合成”和“視頻生成”一系列特性,可用於計算機視覺相關AI進行場景訓練。Infinigen可以自動為各種計算機視覺任務生成高質量的註釋,包括光流,3D場景流,深度,表面法線,全光分割,遮擋邊界。

Infinigen主要利用Blender的“基元”(或原語),設計了一個程序規則庫,通過編碼完成真實自然場景各個對象的生成。

論文主要介紹了Infinigen的程序體系,包括:

  • Node Transpiler (節點轉換器),可以自動將Blender節點圖轉化為Python代碼,方便非程序員用戶使用Infinigen。

如下圖所示,它生成的代碼更通用,既允許我們隨機化輸入參數,也允許隨機化圖結構。

Generator Subsystems (生成器子系統),Infinigen的生成器是是一個個基於概率的程序,每個程序專門用於生成一個子對象(比如山脈或魚類)。每個對像都有一組高級參數(比如山的總高度),用戶可以使用Python API來調整這些參數,以實現對數據生成的細粒度控制。


Material Generators (材料生成器),一共有50個,每個都由一個能指定顏色和反射率的隨機著色器和一個生成相應精細幾何細節的局部幾何生成器組成。

研發團隊表示,他們的目標是讓Infinigen 幫助到計算機視覺以及相關領域的研究。但Infinigen模型的當下效率還有待改進,其生成一張(兩個場景的雙拼圖像)1080P 的圖像需要3.5小時。




以上兩個視頻場景就是Infinigen生成過程的一個演示,是不是很神奇,相當於敲敲代碼,一個個視頻九出來了,而且還沒有任何的違和感,不想AI生成,一看就知道。

更暴力的是,最最重要的是,它還免費、開源免費、開源免費、開源

最最重要的是,它還免費、開源!那會產生什麼影響呢?


【Infinigen將產生的影響】

Infinigen的強大,想必大家都影響深刻了,用手指頭都可以知道:

其一,以後的遊戲產業將產生深刻的變化,大家知道遊戲,尤其是大型的遊戲場景設計、美工製作都是重中之重的,那有了Infinigen之後,產品+IT工程師,就直接可搞定了,讓美工們情何以堪,剛剛比Midjourney幹掉繪畫的工作,現在連3D製作的活也沒了。

當然,這是最直接,更深層次來說,就是製作遊戲的邏輯和工具有可能正在深刻的變化著。

其次,就是很多所謂製作產業了,例如各種設計院,原來用的什麼3Ds Max,Maya,ZBrush有可能功夫一夜之間被廢了。

其他的影響,腦洞大的親們,一起來說說的吧。(飆叔科技洞察)

最後的福利:Infinigen的論文網址和官網都分享給大家吧。

項目論文網址:https://arxiv.org/pdf/2306.09310.pdf

項目官網:https://infinigen.org/