•
重磅！AI生3D賽道迎來傳奇大佬，皮克斯創始人加盟，照片或文字生成超寫實3D場景，一夜刷屏
皮克斯創始人加入Odyssey，共同推動AI革命性的3D世界
Odyssey是一家由CEO奧利弗·卡梅隆（Oliver Cameron）領導的AI創業公司，近日宣佈推出Explorer：一款能夠將文字或圖像轉化為詳細3D世界的生成式世界模型。
在產品發佈的同時，公司還宣佈皮克斯（Pixar）聯合創始人埃德·卡特穆爾（Ed Catmull）將加入Odyssey董事會，並且已經對公司進行了投資。卡梅隆表示：“埃德與我們共同創立皮克斯時秉持的理念是，故事必須主導技術，而不是反過來。”他補充道，這與皮克斯的使命以及Odyssey專注於生成式世界模型的方向高度契合。
Explorer被描述為一款專為逼真3D環境設計的圖像轉世界模型。它通過高斯濺點技術生成輸出，這種技術在視覺研究人員中越來越受到關注，因為它能夠表示高度詳細的3D場景。
這些高斯濺點與行業標準工具如Unreal Engine、Blender和After Effects相容，從而使藝術家能夠無縫整合。公司在部落格中表示：“儘管處於早期階段，像Explorer這樣的生成式世界模型承諾能夠顯著加速電影和遊戲相容世界的建立，並為全新的應用或娛樂形式提供可能。”
Odyssey已經在倫敦的Garden Studios測試了Explorer的能力，並將生成的世界投射到用於電影製作的虛擬製作舞台上。卡梅隆表示：“結論是：它們成功了，看起來非常棒。”
該公司現在正在擴展Explorer的存取權，邀請合作夥伴通過其網站申請使用。卡梅隆對生成式世界模型的潛力充滿樂觀，他表示：“我們正在創造一個全新的媒介。”
埃德·卡特穆爾加入Odyssey董事會預計將為公司在這一新興領域的探索提供戰略指導。
Odyssey由卡梅隆和傑夫·霍克於2023年創立，兩位創始人都曾是自動駕駛行業的資深人士。該公司在幾乎一年的保密營運後正式揭開面紗，專注於為電影和遊戲行業建構生成式電影世界和視覺特效。
Odyssey已經籌集了2700萬美元來支援其目標。這包括來自GV（Google Ventures）、DCVC、Air Street Capital和個人投資者的900萬美元種子資金，以及由EQT Ventures領投的1800萬美元A輪融資。
Explorer在某些方面類似於DeepMind、World Labs和以色列新興公司Decart最近展示的所謂“世界模型”。例如，給定一個描述“一個擁有豐富綠色植被的日本花園”的文字，Explorer可以生成一個互動的、即時的3D場景。
Odyssey宣稱其工具“特別調校”用於建立逼真的場景。這在很大程度上得益於該公司的技術方法；驅動Explorer的AI經過訓練，使用的是公司定製的360度背包式攝像系統拍攝的真實世界景觀。
Odyssey表示，Explorer生成的任何場景都可以載入到像Unreal Engine、Blender和Adobe After Effects等創意工具中，然後進行手動編輯。如何實現？Explorer使用高斯濺點（Gaussian splats），這是一種已有數十年歷史的體積渲染技術，能夠重建逼真的場景。高斯濺點在電腦圖形工具中得到了廣泛支援。
拓展 - 更多關於NeRF技術：【AIGC + NeRF】文字進行3D模型場景編輯 （技術方案/產品化）
Odyssey在部落格中寫道：“雖然還處於早期階段，但我們對Explorer已經能夠實現的3D細節和真實感感到興奮，並且對它在實景電影、超真實遊戲和新型娛樂形式中的潛力充滿期待。” “儘管這一領域還處於研究初期，生成式世界運動，全部基於3D，展示了激動人心的潛力，使藝術家能夠以全新和更真實的方式生成和操控運動，此外還提供了難以在生成視訊模型中複製的精細控制。”
Odyssey承認，Explorer目前存在一些侷限性。例如，工具生成場景的平均時間為10分鐘，其生成的場景解析度較低，並且仍然存在一些令人分心的視覺瑕疵。
不過，該公司表示，已經將Explorer交給英國的Garden Studios等製作公司，以及一個“不斷壯大的”獨立藝術家團隊進行測試。那些有興趣測試Explorer的人可以通過Odyssey的部落格申請。
《生成式世界模型在電影、遊戲及其他領域的應用》
我們很榮幸地宣佈皮克斯聯合創始人Ed Catmull加入我們的董事會。我們正攜手開創生成式世界模型的新紀元，首個突破性產品就是Explorer。
故事為王
1986年，Ed Catmull、Steve Jobs和John Lasseter共同創辦了皮克斯（Pixar），並使其成為世界上最具影響力的講故事公司。在皮克斯的核心，始終堅持一個信念：故事必須決定技術的方向，而不是相反。這一哲學推動皮克斯在80年代和90年代開創了電腦圖形學的先河，Ed本人也貢獻了無數技術創新，這些創新至今仍然是行業標準。這些開創性的成就為皮克斯創造的改變世界的故事鋪平了道路，並為Ed贏得了2019年的圖靈獎。
在Odyssey，我們也堅信技術必須服務於故事和講故事的人。在人工智慧時代，這一點比以往任何時候都更為真實。基於這一點，我們非常高興歡迎Ed Catmull加入Odyssey的董事會，並投資我們的公司。Ed作為皮克斯和迪士尼動畫工作室的總裁所積累的無與倫比的經驗，將是我們邁向電影、遊戲和更廣泛領域的下一個重大技術突破：生成式世界模型過程中不可或缺的資產。
認識Explorer，一種生成式世界模型
最好的故事能夠帶我們進入全新的世界。在《玩具總動員》、《頭腦特工隊》、《星際大戰》、《沙丘》、《阿凡達》、《指環王》、《侏儸紀公園》、《荒野大鏢客》和《最後的生還者》等傑作中，藝術家們花費了成千上萬小時使用3D創作工具手工雕刻出詳盡的世界，充滿了獨特的角色、風景和音樂。這些耗時的過程既是電影、遊戲等行業發展的重要推動力，也同時是瓶頸。
於是，Explorer應運而生——我們的第一個生成式世界模型。Explorer是一個圖像到世界的模型，它能夠將任何圖像轉化為一個真實的、詳細的3D世界。儘管目前還處於初期階段，像Explorer這樣的生成式世界模型承諾將顯著加速電影和遊戲相容世界的創作，並且為全新的應用形式或娛樂形式開闢了可能性。Explorer目前已被越來越多的藝術家使用，我們也很高興能向更多人開放存取權。
Explorer生成逼真的世界
Explorer特別最佳化用於生成逼真的世界，而這一點顯然是該模型的核心優勢。儘管目前仍處於早期階段，但我們非常高興看到Explorer已經能夠實現的3D細節和真實感，以及它在實景電影、超現實主義遊戲和新型娛樂形式中的潛力。
Explorer生成動態世界
我們的世界是不斷運動的，Explorer生成的世界也應如此。儘管這一研究仍處於初期階段，但生成式世界運動：完全基於3D技術展示了令人激動的前景。它使藝術家能夠以全新且更真實的方式生成和操控運動，並且提供精細的控制，這在生成視訊模型中是難以複製的。
Explorer生成高斯濺點
在過去的18個月裡，全球頂尖的電腦圖形學和視覺研究人員紛紛將注意力轉向高斯濺點（Gaussian splats）。這一技術能夠以幾乎無法察覺的細節重建場景，足以讓人理解其為何如此重要。隨著這一研究勢頭的不斷增強，人們越來越認為高斯濺點是當前3D表現形式的未來，這也是我們決定將其作為Explorer的世界表示方式的關鍵原因。
Explorer生成的世界可以手動編輯
創意工具提供商已經注意到高斯濺點研究的熱潮，早期在Unreal、Houdini、Blender、Maya、3D Studio Max、After Effects等工具中增加了對濺點的支援。這意味著，對於任何通過Explorer生成的世界，你都可以將其載入到你首選的創意工具中，並在必要時手動編輯生成的世界，以實現您的創作目標。看到藝術家們以各種方式利用Explorer的這一優勢，真是令人驚嘆。
為了驗證Explorer的生產適用性，我們最近與倫敦的Garden Studios進行合作。我們將Explorer生成的世界投射到他們最先進的虛擬製作舞台上——該舞台用於拍攝電影、電視節目、廣告、音樂視訊等——並且我們非常高興地驗證了這些生成世界已經能夠在真實的生產工作流程中得到應用，效果令人驚嘆。
我們正在努力改進Explorer的各個方面，特別是在以下幾個方面：
- 我們已經看到即時世界生成的明確路徑，並瞭解它可能帶來的巨大潛力，但目前Explorer生成一個世界平均需要10分鐘的時間。
- Explorer能夠提高解析度和世界完整性，無縫擴展生成的世界，填補任何空白，建立完整的球形世界。
- Explorer將通過視訊到世界和世界到世界的輸入方式實現更好的可控性。最終，Explorer將能夠接受現實世界捕捉的高斯濺點作為輸入，並根據提示或其他指導進行增強。 (三次方AIRX)