亞馬遜開建AGI實驗室,一號位也是華人

靠電商和雲端運算席捲全球的亞馬遜,正在借這一波Gen AI浪潮,續寫新的故事——

過去,它的AI戰略定位是做基礎平台,使用者可以通過Amazon Bedrock獲得全端式服務。

但大家可能不知道,去年9月,它在舊金山成立了自己的AI實驗室,Amazon AGI SF Lab(以下簡稱亞馬遜AGI實驗室)。

這標誌著亞馬遜的重大轉型:從基礎設施,轉向更具雄心的AGI研發。

而且,這個實驗室的一號位還是名華人。

大佬叫David Luan,已有15年的AI相關工作經驗。他是OpenAI的早期員工,曾做到工程副總裁,參與過GPT-2、GPT-3、CLIP和DALL·E等多個重要項目的研發。

論資歷,Luan絕對算市場中的老炮。

實驗室怎麼來的?

亞馬遜之所以決定成立一家AGI實驗室,主要是受AGI時代這柄雙刃劍影響。

一方面,如果Agent成了新的互動形態,人們不再親自上網購物,那亞馬遜依託於電商生態的廣告和佣金業務,顯然岌岌可危。

但硬幣的另一面是機會。

作為數位化的鼻祖,亞馬遜掌握著海量且極具價值的使用者行為資料:使用者的瀏覽路徑、他們對促銷、評論和頁面佈局的敏感度,以及不同群體之間的相似性。

如果能把這座資料金礦挖掘到位,亞馬遜完全有能力打造一個真正實用的模型,摘下那顆低垂的Agent果實。

正是在這樣的背景下,2024年6月,亞馬遜反向收購僱傭了Adept AI。

亞馬遜內部郵件

“反向收購僱傭”指大科技公司不實際收購熱門AI初創公司,而是爭取初創公司的技術授權,吸納其核心團隊加入,但初創公司本身仍作為獨立個體存在。

這樁收購無疑是個大事件。

收購完成後,亞馬遜當即將重任交到時任Adept AI CEO的David Luan手中,並以他為首成立了亞馬遜AGI實驗室。

量子位一通深挖,發現這個實驗室真的是高手雲集——

首先,實驗室的一號位,華人David Luan,畢業於耶魯大學應用數學與政治科學專業。

6歲時,Luan跟隨家人從中國搬到了美國。

從小,他就對電腦抱有濃厚興趣,並且行動力驚人。

8歲起,Luan就開始在伍斯特州立大學修讀夜校項目,5年苦讀後,終於拿到了學校頒發的電腦科學證書。

而且Luan的AI職業起點相當早:2011年,Luan就創辦了一家深度學習公司,專注於視訊分類技術。

這項成果後來被歐巴馬政府用於改進執法記錄儀。

此後,為了追逐AI最前沿,Luan開始在多家知名AI企業之間輾轉。

2018年,他加入OpenAI

當時,OpenAI團隊規模還不到四十人。不久,他升任工程副總裁,他的任務不是寫論文,而是將GPT-2、GPT-3等研究成果變成工程產品。

GPT-2論文

2020年,Luan轉至Google Brain,擔任大語言模型項目的總技術負責人,聚焦於融合研究與工程的大型項目。

但1年後,他就離開了Google。

原因是他認為Google很多精力都分配在了廣告和搜尋相關的業務上,很難從零開始開展新的研究路線。

而且大公司組織架構分散,難以集中發力。

當時在Google,每個人有限定的資源credit,要跑一個龐大訓練任務,你得說服19、20個同事把這些資源讓給你。

離開Google後,他開始憑藉自身專業的AI知識為公司提供諮詢服務。

直到2022年,他才再次出山,和兩位Transformer作者(Ashish Vaswani和Niki Parmar)聯合成立了Adept AI。

再後來,就是加盟亞馬遜了。

從上述經歷不難看出,Luan的實戰經驗可謂相當厚實。

聊完Luan,我們再來看看亞馬遜AGI實驗室的其他人——

亞馬遜AGI實驗室的二把手是加州大學伯克利分校教授Pieter Abbeel

Abbeel是強化學習和機器人學領域的專家,帶領團隊在Deep Q-Learning、模仿學習、自我博弈等方向上都做出過奠基性貢獻。

Google學術顯示,他的論文被引量超過了21萬

加入亞馬遜之前,他是一家專注於倉儲和物流場景下的機器人揀貨初創公司(Covariant.ai)的聯合創始人。

這個場景,正好擊中了亞馬遜的業務核心。

2024年8月,也就是Adept被收購不久後,亞馬遜同樣通過“反向收購僱傭”的方式,將Covariant納入麾下,Abbeel隨之以研究員身份正式加入亞馬遜AGI實驗室。

此外,當時跟著Luan一起搬家到亞馬遜的,還有四名Adept AI的聯合創始人。

第一位是Erich Elsen

Erich在史丹佛機械工程系拿下博士學位,是GPU計算的專家。

他曾在DeepMind擔任資深研究員,參與撰寫了包括多篇高被引論文,代表作包括Chinchilla定律、稀疏矩陣GPU核心。

加入亞馬遜AGI實驗室後,Erich負責多模態代理和強化學習基礎設施。

負責產品的是Kelsey Szot

她擁有史丹佛數理與管科雙學位背景,曾在麥肯錫做諮詢顧問、在Google負責大型模型生產基礎設施。

2022年,她聯合創立Adept AI,主導了ACT-1與Fuyu-8B等模型的產品化。

最後還有Maxwell Nye和Augustus Odena這對好哥們(他倆就連在簡歷裡也不忘提對方的名字)。

Augustus Odena(左圖)和Maxwell Nye(右圖)

這對黃金搭檔曾在Google共事,參與提出了Scratchpad,這一方法如今被視為現代AI推理系統的基石。

不過,他倆在加入亞馬遜不久後便選擇離開了。

兩次反向收購僱傭、大量招攬頂尖人才……可以說,為了組建這個AGI實驗室,亞馬遜下了不少力氣。

讓David Luan當一號位,憑什麼?

亞馬遜AGI實驗室人才濟濟,David Luan到底有怎樣的過人之處,才成為了亞馬遜這支秘密隊伍的領頭羊?

之前我們已經提到,Luan自2011年便開始創業,除了先後加入微軟、OpenAI、Google外,他還是一位連續創業者。

但要知道,Luan的優勢不僅體現在專業能力,還在於他的戰略眼光。

早在2022年——ChatGPT問世之前,入局AI創業的Luan就有一套自己的想法:想辦法讓AI幹活。

我們創辦Adept AI時,就發現大模型真挺擅長說話的,但沒什麼行動力。

因此,他將目光投向了Agentic AI,並成立了當時的第一家Agent公司——Adept AI

2022年9月,Adept AI發佈了首個Agent模型,ACT-1

這個模型能夠通過自然語言指令執行螢幕任務,如在瀏覽器中導航、填寫表格和操作軟體。

當然,在今天看來這些能力好像已經並不新鮮。

但朋友們啊,ACT-1是三年前的產物!別說如今爆火的Agent了,就連ChatGPT都還沒影子呢。

Luan認為,電腦應該去適應人類,而不是讓人類去適應電腦。

因此,Adept也一直採取著這種以人為中心的方法論。

成立不到一年,Adept AI便完成了超4億美元的融資,一舉成為當年融資最成功的AI初創公司之一。

加入亞馬遜,給AI搭“健身房”

說起來,Adept幹得風生水起,核心團隊為何後來要接受被併?

主要有兩點原因:

首先,亞馬遜坐擁全球最頂尖的算力基礎設施之一,這是小公司無論如何都難以企及的。而對於AI行業來說,算力正是決定模型進步快慢的發動機。

因此,想要前往智能的前沿,必須搭乘擁有發動機夠猛的“跑車”。

其次,亞馬遜還能提供稀缺的真實資料

經過這麼多年的挖掘,網際網路上的高品質資料已經快要枯竭了,大模型發展因此開始減速。

事到如今,人類在日常工作中的實際運算元據成為了高品質的稀缺訓練資料。

AI大神Andrej Karpathy對此曾做過一個類比:

想像你要訓練一個打網球的智能體,你肯定不能讓它99%的時間都在看YouTube網球視訊,只用1%的時間真正上場打球。

在Luan看來,亞馬遜業務範圍極廣,“幾乎每個500強企業在現實裡開展的核心業務,都能在亞馬遜內部找到類似的事情”。

這些能產生大量真實資料的內部環境,是Agent的最佳訓練場所。

還有一個最關鍵的原因,那就是Luan不甘心只是做一個提供AI銷售服務的小公司

在我的整個職業生涯中,我只想建構最智能、最有用的人工智慧。

因此,2024年,Adept AI與亞馬遜達成反向收購僱傭,Luan帶著團隊裡最核心的技術人員一起加入了亞馬遜AGI實驗室。

今年年初,亞馬遜AGI實驗室發佈首個產品——Amazon Nova Act,一個基於亞馬遜內部最強自研AI Amazon Nova延伸出來的Agent模型。

它繼承了Adept AI的技術遺產(ACT-1、Fuyu模型等),又結合亞馬遜的AWS基礎設施,在多步驟複雜任務上表現出色。

根據亞馬遜官方披露,Nova Act在Agent的公開基準測試ScreeSpot和Ground UI上取得了不錯成績。

並且在ScreeSpot介面元素定位上的表現格外優異,精準率接近94%

亞馬遜AGI實驗室透露,這裡面的秘訣在於強化學習

我們在亞馬遜AGI實驗室做的是大規模自我博弈。十幾年前,DeepMind靠這種方式擊敗了人類。

亞馬遜AGI實驗室沒有靠人力去給每一個操作編碼,據Luan所說,他們為AI搭建了一間“健身房”。

在這間健身房裡,隨處可見各種常用的“健身器材”,比如ERP、CAD、電子病歷系統、會計軟體等。AI可以利用這些工具,通過強化學習自己摸索出正確的使用方式。

沒想到,人工智慧也需要健身了。(手動狗頭)

看來,加入亞馬遜AGI實驗室後的Luan仍然謹記實用主義的信仰,一心只為打造最有用的AGI

One More Thing

最後,八卦時間~

Adept AI最初的3名核心發起人,一位是David Luan,還有兩位都是Transformer八子之一。

一位是Niki Parmar,另一位是Ashish Vaswani。

不過,Vaswani不到一年就離開了。

從左到右:Niki Parmar, Ashish Vaswani, David Luan

據彭博社爆料,Vaswani離開的原因是與Adept AI的某位聯合創始人意見不合。

已知:Vaswani離開Adept AI時,Parmar跟著一起離開了,兩人後來又聯合成立了Essential AI。 (量子位)