現在世界上最受關注的技術團隊是哪一支?
Sora團隊,已經來到聚光燈中心。
不僅專案負責人評論區被擠爆,成了最火「景點」。
天才成員們的履歷,也持續引爆關注。
大傢伙發現,這支團隊還挺年輕:兩位負責人都是在去年(2023年)剛博士畢業,團隊裡甚至還有00後選手…
但他們也是真的牛:
Tim Brooks, DALL-E 3作者之一,GitHub 5.7k️計畫InstructPix2Pix的作者,2021-2022年在英偉達實習時,就是影片產生研究的專案負責人。
William (Bill) Peebles,和謝賽寧合作,搞出了Sora的技術基礎之一DiT(擴散Transformer)。論文也曾入圍CVPR 2022最佳論文候選。
這支團隊到底什麼來頭,咱們今天一起仔細聊聊。
01 應屆博士帶隊
包括Tim和Bill在內,Sora的主要負責人一共有三名(以下排名不分先後)。
Tim Brooks,也是DALL-E 3的作者,去年1月剛從加州大學柏克萊分校博士畢業。
Tim本科就讀於卡內基美隆大學,主修邏輯與計算,輔修電腦科學,其間在Facebook軟體工程部門實習了四個月。
2017年,大學畢業的Tim先到Google工作了近兩年,在Pixel手機部門研究AI相機,之後到了柏克萊AI實驗室攻讀博士。
在柏克萊讀博期間,Tim的主要研究方向是圖片與影片生成,他也在英偉達實習並主導了一項關於影片生成的研究。
回到校園後,Tim與導師Alexei Efros教授、同組博士後Aleksander Holynski(現在谷歌工作)一起研製了AI圖片編輯工具InstructPix2Pix,併入選CVPR 2023 Highlight。
去年一月,Tim順利畢業並取得了博士學位,轉而加入OpenAI,並相繼參與了DALL-E 3和Sora的工作。
值得一提的是,Tim不僅在專業領域擁有高超的技術水平,還是個多才多藝的人。
根據Tim自己介紹,他也喜歡攝影和音樂,高中時他拍攝的照片獲得過National Geographic頒發的獎項,本人到過百老匯演出,還獲得過B-box國際獎項…
而與Tim師出同門、晚畢業4個月的William Peebles,也是Sora的另一位負責人。
(Peebles在上用暱稱Bill,在Linkedin上及論文署名時用大名William,下文一律用Bill指代。)
Bill本科就讀MIT,主修電腦科學,參加了GAN和text2video的研究,也曾在英偉達深度學習與自動駕駛團隊實習,研究電腦視覺。
畢業後正式開始讀博之前,他還參加了Adobe的暑期實習,研究的依然是GAN,該計畫和(時任)卡內基美隆大學華人學者朱俊彥(也是Efros教授學生,現在在MIT)組有合作,成為CVPR 2022最佳論文候選。
之後,學期開始,Bill到了柏克萊Efros教授課題組攻讀博士,研究成果多次入選SIGGRAPH、ICCV、CVPR等學術會議。
2022年5月,Bill到Meta進行了為期半年的實習,和謝賽寧(Bill開始實習時還未離開Meta)合作發表了DiT模型,首次將Transformer與擴散模型結合到了一起。
此成果被ICCV 2023錄取為Oral論文。值得一提的是,OpenAI此次發布的Sora,被認為正是基於DiT構建的。
去年5月,Bill也從柏克萊畢業,併入職OpenAI。
除了這兩位去年加入的研究者,Sora團隊的另一位負責人Aditya Ramesh則是OpenAI的「老人」。
Aditya是DALL-E的創造者,主導了三代DALL-E的研究,三個版本的論文當中他都是一作。
而這樣一位主導三代DALL-E,如今又領導Sora團隊的大神,卻只有大學學歷。
根據LeCun介紹,Aditya本科就讀於紐約大學,並在他的實驗室參與過一些計畫。
其間,Aditya就已經在研究生成式模型,並和LeCun共同發表論文。
畢業後,Aditya本來想繼續深造,但在OpenAI的暑期實習中被留了下來,成為了正式研究人員。
02 00後已加入
Sora團隊的本科生,不只Aditya Ramesh一位。
前文提到,這支團隊中有一位「00後」Will DePue,就是2022年才剛從密西根大學電腦系本科畢業的。
這位小哥大四的時候創業搞了個市場顧問公司DeepResearch,這家公司後來被Commsor收購。
2023年7月,小哥加入OpenAI。根據他的領英訊息,他是在今年1月才剛加入Sora計畫組的。
另外,David Schnurr和Joe Taylor也都沒有博士學位。前者畢業於加州大學聖塔芭芭拉分校,後者畢業於美國舊金山藝術大學。
而正如Aditya Ramesh自己所說,Sora團隊的不少成員都是DALL-E 3的作者。
包括兩位華人Li Jing和Yufei Guo。
Li Jing是DALL-E 3的共同一作,2014年本科畢業於北京大學物理系,2019年獲得MIT物理學博士學位。在Meta做了2年多博士後,Li Jing於2022年加入OpenAI。
華人作者還有Ricky Wang,今年一月剛從Meta/Instagram跳槽到OpenAI,另外兩位Yufei Guo、Clarence Ng沒有太多公開資料。
新跳槽來的還有Conner Holmes,他在微軟工作時以外援形式參與了DALL·E 3的推理優化工作,後來乾脆加入OpenAI了。
最後,來看一眼完整作者名單:
從團隊的組成情況和研究基礎來看,Sora應該是OpenAI近半年來的最新成果,而非網傳「早已有之但憋著不發」。
不過,Sora炸場,頂尖人才又持續星聚,還是驚得眾人開始重新思考OpenAI的技術領先性。
就在今天,作者釋出的Sora新作,連「同一場景」下的多機位影片都整出來了。
圖:Twitter@billpeeb
現在是影片生成,下一個又會是什麼?(傳媒圈)
參考連結:
[1]https://www.wpeebles.com/
[2]https://www.timothybrooks.com/about/
[3]http://adityaramesh.com/about.html
