這不僅僅是一系列郵件和消息的集合,這是一扇窗口,透過它,我們得以窺見一場即將改變人類命運的技術革命是如何從理念的碰撞、個性的衝突與野心的交織中誕生的。這些文字記錄的是OpenAI從誕生到蛻變的原始瞬間,是理想與現實、合作與分歧、信念與資本之間最真實的張力。
在這些通訊中,我們看到的不僅是戰略決策與技術路線的演變,更是一個關於“創造”本身的寓言:
- 它向我們揭示,即使是最宏大的使命,也始於具體之人的具體選擇。每一封郵件背後,是伊利亞·蘇茨克維對技術路線的執著、是格雷格·布羅克曼對執行細節的把握、是薩姆·奧特曼在資本與理想間的平衡術,也是埃隆·馬斯克以近乎偏執的危機感所施加的壓力與推力。
- 它向我們發問:當一項技術可能重塑整個世界,我們應以何種結構去駕馭它?是堅持非營利的純粹,還是擁抱資本的力量?是封閉地控制,還是開放地分享?郵件中反覆出現的“股權”“董事會”“估值”乃至“道德高地”,實則是人類在面對巨大權力時永恆的困境:如何避免被自己的力量反噬?
- 它向我們展現,卓越的背後往往是矛盾的協奏。馬斯克的激進與悲觀、奧特曼的務實與遠見、蘇茨克維的專注與焦慮——這些特質既推動了突破,也埋下了分歧的種子。正是在這種動態的張力中,OpenAI逐漸找到了其獨特的身份:一個既追求技術極致,又不得不與商業現實共舞的存在。
更重要的是,這些對話幾乎預言了今天我們所面臨的AI時代核心議題:
誰應控制AGI?
如何確保技術增強而非削弱人類?
當競爭不可避免,合作又如何可能?
這些郵件沒有提供完美答案,但它們真實記錄了一群試圖回答這些問題的人。他們的猶豫、堅定、計算與理想主義,或許正是我們在未來十年甚至更長時間裡,需要反覆回味與借鑑的啟示。
接下來的內容中,我們將彷彿置身於這些關鍵決策的現場,感受語言之中的策略、情緒之下的遠見,並理解一個偉大事物誕生之初的混亂與光芒。
在埃隆·馬斯克 (Elon Musk) 訴薩姆·奧特曼 (Sam Altman) 的法律訴訟中,大量埃隆與薩姆·奧特曼、伊爾亞·蘇茨克維 (Ilya Sutskever) 以及格雷格·布羅克曼 (Greg Brockman) 之間的往來郵件被公之於眾。此外,OpenAI 也在 2024 年 3 月和 2024 年 12 月通過部落格文章發佈了更多郵件。
通讀這些郵件讓我覺得非常有價值,但我還沒發現那個線上資源能把這些郵件全部整理成易於閱讀的格式。所以,我就自己做了一份。[1]
---
主題:一個問題
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (Elon Musk)
時間:2015年5月25日 晚上9:10
我最近一直在思考,我們是否有可能阻止人類發展人工智慧。
我認為答案几乎是絕對不可能。
既然這件事無論如何都會發生,那麼讓“Google”之外的人先做出來,似乎是件好事。
你覺得由YC(Y Combinator)來啟動一個人工智慧領域的“曼哈頓計畫”怎麼樣?我的感覺是,我們大概能請到頂尖的前50人中的許多位來參與。我們可以設計一個架構,通過某種非營利組織的形式讓這項技術歸屬於全世界,但同時,如果項目成功,讓參與其中的人也能獲得類似創業公司的高額回報。當然,我們會遵守並大力支援所有的監管規定。
薩姆
---
發件人:埃隆·馬斯克 (Elon Musk)至 薩姆·奧特曼 (Sam Altman)
時間:2015年5月25日 晚上11:09
這事可能值得當面聊一聊。
---
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (Elon Musk)
時間:2015年6月24日 上午10:24
我們這個項目的使命,將是創造第一個通用人工智慧,並用它來增強個人的能力——也就是說,實現那個看起來最安全的、分佈式的未來版本。更廣泛地說,安全應該是首要的要求。
我認為,理想情況下我們可以先從7-10人的小團隊開始,再計畫逐步擴張。我們在山景城有一棟不錯的附屬建築,可以給他們用。
關於治理結構,我覺得可以先由5個人組成,我提議由你、比爾·蓋茲(Bill Gates)、皮埃爾·奧米迪亞(Pierre Omidyar)、達斯汀·莫斯科維茨(Dustin Moskovitz)和我來擔任。這項技術將歸基金會所有,並“為世界的福祉”而使用。在具體應用方式不明確的情況下,由我們五人共同決定。研究人員將獲得巨大的經濟回報,但這回報與他們所建構的東西無關,這應該能消除一些利益衝突(我們會支付有競爭力的薪水,並給予他們YC的股權作為回報)。關於那些工作應該開源,那些不應該,我們會進行持續的討論。到時候我們會找個人來管理團隊,但他/她可能不應該進入治理董事會。
除了參與治理,你本人會以某種方式參與進來嗎?我認為這對於確保工作方向正確、並吸引最優秀的人才加入會非常有幫助。理想情況下,希望你每月能來一次,和他們聊聊進展,或者任何形式的參與都可以。在YC,我們通常將這種有限參與的人稱為“兼職合夥人”(例如Peter Thiel就是這樣,儘管他現在參與得非常深),但具體叫什麼名字可以隨你定。即使你實在抽不出時間,但只要能在公開場合表示支援,可能對招募人才也會非常有幫助。
關於那封監管公開信,我認為正確的計畫是等我們這個項目啟動後,再由我發佈它,並附上類似這樣的資訊:“既然我們正在做這件事,我一直在思考世界需要什麼樣的約束來確保安全。”我很樂意不把你列為聯署人。我也推測,等信發佈後,會有更多人願意支援它。
薩姆
---
發件人:埃隆·馬斯克 (Elon Musk)至 薩姆·奧特曼 (Sam Altman)
時間:2015年6月24日 晚上11:05
以上全部同意。
---
主題:回覆:AI 檔案 📎
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (Elon Musk)
時間:2015年11月20日 上午10:48
埃隆 –
計畫是這樣的:由你、我和Ilya組成YC AI的董事會,這家機構將是在特拉華州註冊的非營利組織。我們還會在章程中寫明,計畫通過董事會多數票選舉另外兩位外部成員。
我們將把這條規定寫入章程:任何可能危及人類安全的技術,都必須獲得董事會同意才能發佈。我們也會在研究人員的僱傭合同中提及這一點。
從高層架構上看,你覺得這樣可行嗎?
我抄送了我們的總法律顧問<隱去>,你那邊有誰可以和他對接處理細節嗎?
薩姆
---
發件人:埃隆·馬斯克 (Elon Musk)至 薩姆·奧特曼 (Sam Altman)
時間:2015年11月20日 中午12:29
我認為這個機構應該獨立於YC(但同時由YC支援),而不是聽起來像一家子公司。
另外,這個結構看起來也不是最優的。尤其存在問題的是,既給予YC的股票又同時從非營利組織領取薪水,這會模糊激勵的一致性。或許更好的做法是,成立一家標準的C型公司,並同時設立一個平行的非營利組織。
---
主題:電話後續
發件人:格雷格·布羅克曼 (Greg Brockman)至 埃隆·馬斯克 (抄送:薩姆·奧特曼)
時間:2015年11月22日 下午6:11
嘿,埃隆,
剛才聊得很愉快。
正如我在電話裡提到的,這是部落格文章的最新初稿:
https://quip.com/6YnqA26RJgKr。(薩姆、伊爾亞和我正在考慮新名字,很想聽聽你的意見。)
顯然,裡面還有很多細節需要修改,但我很好奇你對這種(對外)資訊傳遞方式的看法。我不想有任何保留,如果感覺對的話,我完全願意發佈一條更強勢的資訊。我認為最重要的是,我們的資訊要能吸引研究界(或者至少是我們想招聘的那部分人)。我希望我們能以一個中立組織的身份進入這個領域,尋求廣泛的合作,並將對話引向“全人類共贏”,而不是某個特定團體或公司的勝利。(我認為這是將我們自己快速打造成領先研究機構的最佳方式。)
我附上了我們一直在用的錄用通知書範本,其中薪水是17.5萬美元。以下是我一直在傳送給別人的郵件範本:
“附件是您的官方YCR錄用通知書!請在您方便時簽署並註明日期。後續還會有兩份檔案:
1. 另一份單獨的信函,將為您在場的每一期YC批次提供0.25%的權益(作為您擔任YC顧問的報酬)。
2. 《自由僱傭、保密資訊、發明轉讓和仲裁協議》(At-Will Employment, Confidential Information, Invention Assignment and Arbitration Agreement)
(由於這是我們發出的第一批正式錄用通知,過程中如有任何不順,敬請諒解,如果發現任何看起來奇怪的地方,也請告訴我!)
我們計畫提供以下福利:
* 健康、牙科和視力保險
* 不限假期天數,但建議每年休假四周
* 帶薪育兒假
* 當您要展示YCR AI的工作或被YCR AI要求參加時,提供帶薪的會議出席支援
我們也樂意提供簽證支援。當您準備討論簽證相關問題時,我很樂意幫您對接YC的Kirsty。
如果您有任何問題,請隨時告訴我——我隨時有空交流!期待與您合作 :)。 ”
- gdb
---
發件人:埃隆·馬斯克 (Elon Musk)至 格雷格·布羅克曼 (抄送:薩姆·奧特曼)
時間:2015年11月22日 晚上7:48
部落格文章聽起來不錯,但前提是要進行調整,確保中立性,而不是以YC為中心。
我傾向於將部落格文章的定位調整得更能吸引普通公眾——讓公眾支援我們取得成功,這具有很大價值。然後,可以再準備一個更長、更詳細、更“圈內人”的版本用於招聘,並在公眾版的結尾附上連結。
我們需要一個遠比1億美元大得多的數字,以免聽起來相比Google或Facebook的投入顯得毫無希望。我認為我們應該聲稱我們啟動資金承諾為10億美元。這是真的。其他人沒有提供的部分,由我來兜底。
(錄用通知)範本看起來沒問題,但需要做一點調整:默認選項應改為授予逐步兌現的現金獎金,這個選項也可以(由員工選擇)轉換為YC的股票,或者可能轉換為SpaceX的股票(我需要先瞭解這部分的量級會有多大)。
---
主題:開篇段落草稿
發件人:埃隆·馬斯克 (Elon Musk)至 薩姆·奧特曼 (Sam Altman)
時間:2015年12月8日 上午9:29
把開篇的摘要部分寫對是至關重要的。這將是所有人都會讀到的內容,也將是媒體主要引用的部分。這次發佈的全部意義就在於吸引頂尖人才。我不確定格雷格是否完全明白這一點。
--OpenAI 是一家非營利性人工智慧研究公司,其目標是以最有可能造福全人類的方式推動數字智能的發展,不受產生財務回報義務的束縛。
我們公司的基本理念是,將人工智慧(AI)技術作為全人類個體意志的延伸而儘可能廣泛地傳播,本著自由的精神,確保數字智能的力量不會過度集中,並向著人類整體所期望的未來演進。
這項事業的結果不確定,而且與其他人提供的待遇相比,薪酬較低,但我們相信目標和結構是正確的。我們希望,領域內最優秀的人才最看重的正是這一點。
---
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (Elon Musk)
時間:2015年12月8日 上午10:34
這樣改怎麼樣?
— OpenAI 是一家非營利性人工智慧研究公司,其目標是以最有可能造福全人類的方式推動數字智能的發展,不受產生財務回報義務的束縛。
正因為我們沒有財務上的義務,所以能夠專注於最大化對人類的積極影響,並儘可能廣泛地傳播AI技術。我們相信,AI應該成為人類個體意志的延伸,並且本著自由的精神,不應集中在少數人手中。
這項事業的結果不確定,而且與其他人提供的待遇相比,薪酬較低,但我們相信目標和結構是正確的。我們希望,領域內最優秀的人才最看重的正是這一點。
---
主題:剛得到消息...
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (Elon Musk)
時間:2015年12月11日 上午11:30
(消息說)DeepMind 明天會給OpenAI的每一個人開出巨額反擊offer,試圖扼殺這個項目。
你反對我主動給每個人每年增加10萬到20萬美元的薪酬嗎?我認為他們(團隊成員)都是被這裡的使命所驅動的,但(主動加薪)會向所有人傳遞一個很好的訊號:我們會長期照顧好他們。
聽起來DeepMind正計畫為此開戰,他們簡直是在NIPS大會上“圍堵”人。
---
發件人:埃隆·馬斯克 (Elon Musk)至 薩姆·奧特曼 (Sam Altman)
時間:2015年12月11日
Ilya已經給出明確的同意了嗎?
如果有人看起來有任何猶豫,我也很樂意親自給他們打電話。我已經告訴Emma,這是我絕對第一優的事情,全天候都是。
---
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (Elon Musk)
時間:2015年12月11日 中午12:15
是的,確定了,確定了。他剛剛給出了承諾。
---
發件人:埃隆·馬斯克 (Elon Musk)至 薩姆·奧特曼 (Sam Altman)
時間:2015年12月11日 中午12:32
太棒了。
---
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (Elon Musk)
時間:2015年12月11日 中午12:35
大家情緒都很高漲,說著類似這樣的話:“儘管放馬過來吧,DeepMind的offer!可惜他們那邊可沒有‘做正確的事’這個選項。”
新聞將在太平洋標準時間下午1點30分發佈。
---
主題:關於OpenAI公司
發件人:Elon Musk 至 Ilya Sutskever, 帕梅拉·瓦加塔 (Pamela Vagata), 維基·張 (Vicki Cheung), 迪德里克·金馬 (Diederik Kingma), 安德烈·卡帕西 (Andrej Karpathy), 約翰·舒爾曼 (John D. Schulman), 特雷弗·布萊克韋爾 (Trevor Blackwell), 格雷格·布羅克曼 (Greg Brockman) (抄送:薩姆·奧特曼)
時間:2015年12月11日 下午4:41
祝賀你們有了一個偉大的開端!
與我們熟知的那些組織(Google、Facebook等)相比,我們在人力和資源上都處於絕對懸殊的劣勢,但我們站在正確的一方,這至關重要。我看好我們的勝算。
我們最重要的任務是招募最優秀的人才。任何公司的產出都是其內部人員才能的向量之和。如果我們能隨著時間的推移吸引到最有才華的人,並且我們的方向正確一致,那麼OpenAI就一定能成功。
為此,請仔細思考誰應該加入我們。如果我在招聘或任何其他事情上能有所幫助,我隨時待命。我建議要特別關注那些尚未完成研究生甚至本科學業,但顯然才華橫溢的人。最好在他們取得突破性成就之前就邀請他們加入。
期待與你們共同努力,
埃隆
---
主題:轉發:祝賀獵鷹9號
<隱去> 至 埃隆·馬斯克 - 2016年1月2日 上午10:12 (美國中部時間)
嗨,埃隆,新年快樂,
██████████!
祝賀你們成功實現獵鷹9號火箭的著陸,這真是太了不起了。現在是時候組建你的火箭艦隊了!
我看到你(還有薩姆以及其他OpenAI的人)最近做了很多採訪,都在頌揚開源AI的好處。但我猜想你應該明白,這並非某種能神奇解決(安全)問題的萬靈藥吧?有很多充分的論據可以說明,你們現在採取的方法實際上非常危險,甚至可能增加世介面臨的風險。一些更明顯的觀點在這篇部落格文章裡闡述得很好(我肯定你已經看過了),但還有其他重要的考量:
http://slatestarcodex.com/2015/12/17/should-ai-be-open/
我很想聽聽你對這些觀點的反駁論據。
祝好,
████
[埃隆於2016年1月2日 上午8:18 將上述郵件轉發給薩姆·奧特曼、伊利亞·蘇茨克維和格雷格·布羅克曼]
---
伊利亞·蘇茨克維至 埃隆·馬斯克、薩姆·奧特曼、格雷格·布羅克曼 - 2016年1月2日 上午9:06
這篇文章擔憂的是一種硬起飛情況:如果發生硬起飛,並且建構一個安全的AI比不安全的AI更難,那麼通過開源一切,我們就讓某個擁有海量硬體資源且毫無道德顧忌的人能輕易地建構出一個不安全的AI,而這個AI將會經歷硬起飛。
隨著我們越來越接近造出AI,開始減少開放程度是合理的。OpenAI中的“Open”意味著,在AI建成後,每個人都應該從其成果中受益,但完全不分享科學研究是完全可以的(儘管為了招募人才,在當前甚至中期內分享一切無疑是正確的策略)。
---
埃隆·馬斯克至 伊利亞·蘇茨克維 - 2016年1月2日 上午9:11
沒錯。
---
主題:回覆:後續想法 📎
發件人:埃隆·馬斯克 (Elon Musk)至 伊利亞·蘇茨克維 (Ilya Sutskever), 格雷格·布羅克曼 (Greg Brockman), 薩姆·奧特曼 (Sam Altman)
時間:2016年2月19日 凌晨12:05
坦白說,讓我驚訝的是,AI界花了這麼長時間才搞清楚“概念”這回事。這聽起來並不是超級難。將大量深度網路進行高層級連結,這聽起來像是正確的方法,或者至少是正確方法的關鍵部分。
███████████████████████████████
DeepMind創造出一個“深度智能”的機率每年都在增加。也許在未來2到3年內不會超過50%,但很可能會超過10%。考慮到他們的資源,我覺得這聽起來並不瘋狂。
無論如何,我的經驗是,高估競爭對手遠比低估他們要好得多。
這並不意味著我們應該倉促行事,招聘平庸之輩。我同意那樣做不會有任何好處。我們需要做的是加倍努力,去尋找世界上最好的人才,不惜一切代價讓他們加入,並為公司注入高度的緊迫感。
對OpenAI來說,在接下來的6到9個月內取得一些重大的成果至關重要,以此向世界證明我們是玩真的。不需要是一個巨大的突破,但它應該足以讓世界各地的關鍵人才刮目相看。
████████████████████████████████████████████████████████████████████████████████████████████████████████████
---
發件人:伊利亞·蘇茨克維 (Ilya Sutskever)至 埃隆·馬斯克 (抄送:格雷格·布羅克曼, 薩姆·奧特曼)
時間:2016年2月19日 上午10:28
有幾點需要說明:
1. 並非一旦我們解決了“概念”問題,就能得到AI。其他必須解決的問題還包括無監督學習、遷移學習和終身學習。目前我們在語言處理方面也做得相當糟糕。這並不意味著這些問題在未來幾年不會取得重大進展,但並不能說在我們和完全人類等級的人工智慧之間只隔著一個問題。
2. 我們今天無法造出AI,是因為我們缺乏關鍵的思想(電腦可能也太慢,但我們無法斷定)。強大的思想是由頂尖人才產生的。龐大的計算叢集有幫助,也非常值得獲取,但它們扮演的角色相對次要。
3. 我們能夠在未來6到9個月內取得一項常規意義上的重大成果,這僅僅是因為我們已經擁有的人才非常優秀。而要取得一項能改變整個領域的成果,將會更困難、風險更高,也需要更長時間。不過,我們對此也有一個不算不合理的計畫。
---
主題:薪酬框架
發件人:格雷格·布羅克曼 (Greg Brockman)至 埃隆·馬斯克 (抄送:薩姆·奧特曼)
時間:2016年2月21日 上午11:34
大家好,
我們正在進行創始團隊後的第一輪全職offer發放。這顯然至關重要,因為其影響是長遠的。我目前還不敢獨自做這些決定,非常需要你們的指導。
這是我們目前的方案:
- 創始團隊:27.5萬美元年薪 + YC股票25個基點
- 也可以選擇永久性地轉換為12.5萬美元年度獎金,或等值的YC/SpaceX股票。我不知道是否有人選擇了這個。
- 新offer:17.5萬美元年薪 + 12.5萬美元年度獎金(或等值的YC/SpaceX股票)。獎金與績效評估掛鉤,可能為0%,也可能遠高於100%。
- 特殊情況:我(gdb)、Ilya和Trevor另有安排。
計畫是保持基本扁平化的薪資,並通過獎金倍數來獎勵表現突出的人。
一些說明:
- 我們對股票使用了20%的年化折現率(因為要8年後才能變現),12.5萬美元獎金約等於YC的12個基點。所以最終價值更接近75萬美元。這個數字聽起來要令人印象深刻得多,雖然其精確估值顯然很難。
- 創始團隊最初提供的年薪是17.5萬美元。實驗室宣佈成立的第二天,我們主動給每個人漲了10萬美元,告訴他們隨著實驗室的成功,我們在財務上會對他們負責,並要求他們個人承諾忽略所有反擊offer,相信我們會照顧好他們。
- 我們目前正在面試來自Google Brain的伊恩·古德費洛,他是這個領域我們尚未擁有的Top 2科學家之一(另一位是Alex Graves,他是DeepMind的忠誠派)。他是Brain最優秀的人,所以Google會全力爭取他。我們準備破格給他創始團隊的offer。
一些薪資資料點:
- John拿到了DeepMind總計25萬美元年薪的offer,他認為自己可以輕鬆談到30萬。
- Wojciech口頭拿到了FAIR約125萬美元/年的offer(但還沒有正式檔案)。
- Andrew Tulloch在FB能拿到80萬美元/年(很大一部分是正在兌現的股票)。
- Ian Goodfellow目前在Google的待遇是16.5萬美元現金 + 60萬美元股票/年。
- 蘋果有點desperate,給人開55萬美元現金(估計還有股票)。但我覺得沒有真正厲害的人會答應。
我心中有兩個具體的候選人:
1. Andrew已經非常接近答應。但他很擔心接受如此大幅的降薪。
2. Ian表示他主要關心的不是錢,但灣區生活昂貴/他想確保能買得起房子。我不知道如果/當Google開始向他拋出他們曾給伊利亞開出的那種天價時會發生什麼。
我迫切的問題:
1. 我預計安德魯會嘗試談判加價。我們應該堅持原offer,告訴他除非他足夠興奮以至於願意接受這種降薪(並告訴他別人放棄了更多)才加入嗎?
2. 伊恩將在周三面試+(我肯定)拿到offer。我們應該認為給他的offer是最終版,還是願意根據Google的報價進行滑動調整?
3. 根據1和2的答案,我在想這種扁平化策略是否合理。如果堅持,我覺得我們必須真正把獎金乘數的賣點推銷出去。也許一個選項是用簽約獎金作為槓桿來促成簽約?
4. 很次要的一點,我們的實習生薪酬也低於市場價:每月9千美元(FB給9千+免費住宿,Google總共給約1.1萬/月)。對實習生來說,經驗比薪酬重要得多。但我覺得我們可能已經因此失去一個邊緣的候選人了。考慮到每小時折算的金額比全職低那麼多,我們應該考慮增加嗎?
我隨時可以討論這個。
- gdb
---
發件人:埃隆·馬斯克 (Elon Musk)至 格雷格·布羅克曼 (抄送:薩姆·奧特曼)
時間:2016年2月22日 凌晨12:09
我們需要不惜一切代價來獲得頂尖人才。提高報價。如果將來某個時間點,我們需要重新調整現有人員的薪酬,那也沒問題。
我們要麼得到世界上最好的人,要麼就會被DeepMind打敗。
只要能把王牌人才招進來,無論什麼代價我都同意。
DeepMind給我帶來了極大的精神壓力。如果他們贏了,以他們那種“一心統治世界”的哲學,那將是真正的壞消息。他們顯然取得了重大進展,考慮到他們那邊的人才水平,這也很正常。
---
發件人:格雷格·布羅克曼 (Greg Brockman)至 埃隆·馬斯克 (抄送:薩姆·奧特曼)
時間:2016年2月22日 凌晨12:21
明白,收到,就這麼辦。我會繼續和薩姆敲定具體細節,但如果您希望隨時瞭解進展,請告訴我。
- gdb
---
主題:Wired文章
發件人:格雷格·布羅克曼 (Greg Brockman)至 埃隆·馬斯克 (抄送:薩姆·泰勒 - Sam Teller)
時間:2016年3月21日 凌晨12:53
嗨,埃隆,
我接受了Wired雜誌關於OpenAI的採訪,他們的事實核查員發來一些問題。特別想就其中兩個問題和你同步一下,確保聽起來合理/符合你會說的口徑:
1. “OpenAI是否會將其所有研究成果都開源?”這個說法精準嗎?
— 在任何時候,我們都會採取最有可能強力造福世界的行動。短期來看,我們相信最好的做法是開源我們的研究。但長期來看,這可能並非最佳策略:例如,對於一項潛在危險的技術,不立即分享可能更好。但在所有情況下,我們都將讓所有人受益於我們所有的研究成果,並希望這些成果由全世界共享,而非由任何一個機構獨享。
2. “OpenAI是否認為,將最尖端的人工智慧(AI)儘可能廣泛地交到人們手中,是人類防止智能過高的AI落入私人手中並可能以惡意目的肆虐世界的最佳保障?”
— 我們相信,利用AI來擴展人類個體的意志,是確保AI始終保持有益的最有希望的路徑。這之所以吸引人,是因為如果存在許多能力相當的智能體,它們就能相互制衡,阻止任何一個壞角色作惡。但我不會聲稱我們已擁有所有答案:相反,我們正在建構一個組織,它既能探尋這些答案,又能無論答案最終是什麼,都採取最佳可能的行動。
謝謝!
- gdb
---
發件人:埃隆·馬斯克 (Elon Musk)至 格雷格·布羅克曼 (抄送:薩姆·泰勒)
時間:2016年3月21日 上午6:53:47
聽起來不錯。
---
主題:回覆:Maureen Dowd
薩姆·泰勒 (Sam Teller)收到亞歷克斯·湯普森 (Alex Thompson) 的這封郵件,並轉發給埃隆·馬斯克 - 2016年4月27日 上午7:25
嗨,薩姆,
希望您一切順利。很抱歉打擾您,我還有一個問題。Maureen想瞭解馬斯克先生對於祖克柏先生在他們訪談後的一些公開評論是否有任何回應。特別是,祖克柏先生將馬斯克先生對人工智慧的擔憂稱為“歇斯底里”,並告誡那些對AI危險“危言聳聽”的人。我在下文附上了祖克柏先生評論的更多細節。
(祖克柏評論內容:)
祖克柏最近在德國被問及馬斯克的預言時,稱其為“歇斯底里的”,並讚揚了AI的突破,包括他聲稱的一個系統可以通過行動電話診斷皮膚病變的癌症,其精準度堪比“最好的皮膚科醫生”。
“除非我們真的搞砸了,”他說,否則機器將始終是服務於人類的,而非“超人”。
“我認為我們可以建構AI,讓它為我們工作並幫助我們……有些人危言聳聽,說AI是多麼巨大的危險,但這在我看來似乎很牽強,其可能性遠低於廣泛疾病、暴力等帶來的災難。”或者正如他在四月份Facebook開發者大會上所闡述的哲學:“選擇希望,而非恐懼。”
--
亞歷克斯·湯普森
紐約時報
---
發件人:埃隆·馬斯克 (Elon Musk)至 薩姆·泰勒 (Sam Teller)
時間:2016年4月27日 中午12:24
歷史明確地表明,強大的技術是一把雙刃劍。如果認為AI——可以說是所有技術中最強大的——只有單一面(即只有好處),那將是愚蠢的。
近期的例子,微軟的AI聊天機器人,就展示了它(AI)能多快地變得極其負面。明智的做法是以謹慎的態度對待AI的出現,並確保其力量被廣泛分佈,而不是由任何一家公司或個人所控制。
這就是我們建立OpenAI的原因。
---
主題:與微軟(MSFT)的主機託管協議
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (抄送:薩姆·泰勒)
時間:2016年9月16日 下午2:37
這是微軟的條款。用1000萬美元換取價值6000萬美元的計算資源,同時我們就他們在雲端部署的內容提供建議。如有任何反饋請告知。
薩姆
微軟/OpenAI條款摘要[2]
---
發件人:埃隆·馬斯克 (Elon Musk)至 薩姆·奧特曼 (抄送:薩姆·泰勒)
時間:2016年9月16日 下午3:10
這真的讓我感到噁心。糟透了,這完全符合我對他們的預期。
“評估、推廣與使用:OpenAI 將評估 CNTK v2、Azure Batch 和 HD-Insight 以供其研究使用,並就微軟如何改進這些產品提供反饋。OpenAI 將與微軟合作,向其研究及開發者生態系統推廣這些產品,並推廣 Microsoft Azure 作為其首選公共雲提供商。OpenAI 將自行決定,並在其研究認為合理時,採用這些產品。”
(針對條款)我們就說,我們願意讓微軟向OpenAI捐贈閒置的計算時間,並且可以公開這一點,但我們不想簽署任何合同或同意去“推廣”。他們可以隨時關停我們,我們也可以隨時離開。
---
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (抄送:薩姆·泰勒)
時間:2016年9月16日 下午3:33
讀完那部分我也有同感,他們已經同意刪掉了。
我們最初只想要他們捐贈空閒計算周期,但團隊希望(資源)供應能有更多確定性。不過我會和微軟溝通,確保沒有任何附加條件。
---
發件人:埃隆·馬斯克 (Elon Musk)至 薩姆·奧特曼 (抄送:薩姆·泰勒)
時間:2016年9月16日
我們應該低調地進行這件事。雙方都不做確定性保證。
不簽合同。
---
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (抄送:薩姆·泰勒)
時間:2016年9月16日 下午6:45
好的,我會看看朝這個方向我能爭取到多少資金。
---
發件人:薩姆·泰勒 (Sam Teller)至 埃隆·馬斯克
時間:2016年9月20日 晚上8:05
微軟現在願意達成一份總額5000萬美元的協議,條件是“由OpenAI自行決定並本著誠信”使用,並且雙方都擁有完全的隨時終止權。沒有推廣。沒有附加條件。不會讓我們看起來像蹩腳的微軟行銷棋子。可以繼續推進嗎?
---
發件人:埃隆·馬斯克 (Elon Musk)至 薩姆·泰勒
時間:2016年9月21日 凌晨12:09
如果他們不把這用在(他們的)市場宣傳中,我沒問題。為了不顯得像是微軟的行銷婊子,(這個形象)的價值遠遠超過5000萬美元。
---
主題:雙周進展更新 📎
發件人:伊利亞·蘇茨克維 (Ilya Sutskever)至 格雷格·布羅克曼, [隱去], 埃隆·馬斯克
時間:2017年6月12日 晚上10:39
這是我們第一次發佈雙周進展更新。目標是讓大家及時瞭解情況,並幫助我們更好地利用你們的到訪。
計算資源:
· 計算資源主要用於兩方面:快速運行大型實驗,以及平行運行大量實驗。
·95%的進展來自於快速運行大型實驗的能力。平行運行大量實驗的效用則小得多。
· 在過去,大型計算叢集能幫你運行更多實驗,但無法幫助你快速完成單個大型實驗。
· 因此,學術實驗室曾有機會與Google競爭,因為Google當時的唯一優勢只是能運行更多實驗。這並非巨大優勢。
· 最近,整合數百塊GPU和數百個CPU來運行一個比單機可能規模大100倍的實驗已成為可能,且所需時間相當。這得益於許多團隊的工作成果。其結果是,如今要保持競爭力所需的最低叢集規模,比過去大了10到100倍。
· 目前,每個Dota實驗都使用1000+核心,而這還僅是針對小型1v1版本,且神經網路策略規模極小。要贏得1v1版本,我們就需要更多算力。而要贏得完整的5v5對局,我們需要減少實驗次數,但**每個實驗的規模至少要擴大一個數量級(可能更多!)。
· 簡而言之:關鍵是我們實驗的規模和速度。過去,大型叢集無法讓人快速運行更大型的實驗。如今,大型叢集能讓我們以快100倍的速度運行大型實驗。
· 為了那怕在理論上能夠完成我們的項目,我們都需要在未來1-2個月內將GPU數量增加10倍(我們的CPU足夠)。我們將在面對面會議中討論具體細節。
Dota 2:
· 我們將在1個月內解決1v1版本的遊戲。該遊戲的粉絲相當看重1v1。
· 我們現在已達到單個實驗消耗數千核心的階段,並且增加分佈式算力能夠提升性能。
· 這裡有一段很酷的視訊,展示了我們的機器人做出相當聰明的操作:
https://www.youtube.com/watch?v=Y-vxbREX5ck&feature=youtu.be&t=99.
新遊戲的快速學習:
· 基礎設施工作正在進行中
·我們已實現了若干基線模型
· 根本上說,我們尚未達到理想狀態,正在採取行動改進。
機器人學:
· 現狀:HER演算法 (https://www.youtube.com/watch?v=Dz_HuzgMzxo )可以非常快速地學會解決許多先前無法解決的低維機器人任務。它非同尋常、簡單且有效。
· 未來6個月內,我們將至少完成以下一項:使用HER演算法和sim2real方法,實現單手解魔方、轉筆、轉健身球。
· 上述成果將在機器人手上部署:[Google Drive連結] [請注意:此視訊為人工控制,非演算法控制。需登錄OpenAI帳戶才能查看]。
自我博弈作為通往AGI的關鍵路徑:
· 多智能體環境中的自我博弈是神奇的:如果你將智能體置於一個環境中,那麼無論它們有多聰明(或不聰明),環境都會提供恰到好處的挑戰等級,而這只能通過智勝對手來應對。例如,一群孩子會覺得彼此相處具有挑戰性;一群智力相當的超級智能體也是如此。因此,自我博弈的“解決方案”就是變得無限智能。
· 自我博弈讓我們 “無中生有”。競爭性遊戲的規則可以很簡單,但遊戲的最佳策略卻可以極其複雜。
[激勵案例:https://www.youtube.com/watch?v=u2T77mQmJYI ]。
· 在模擬中訓練智能體,通過競爭性打鬥(如摔跤)來發展出非常出色的敏捷性。這裡有一段我們訓練螞蟻形態機器人掙扎的視訊:<隱去>
· 當前自我博弈工作:讓智能體學會發展出一種語言
[動圖見:https://blog.openai.com/learning-to-cooperate-compete-and-communicate/]。智能體正在做“一些事情”,但這仍是進行中的工作。
我們還有幾個很酷的小型項目。一旦取得顯著成果,將隨時匯報。
---
發件人:埃隆·馬斯克 (Elon Musk)至 伊利亞·蘇茨克維 (抄送:格雷格·布羅克曼, [隱去])
時間:2017年6月12日 晚上10:52
謝謝,這次更新非常棒。
---
發件人:埃隆·馬斯克 (Elon Musk)至 伊利亞·蘇茨克維 (抄送:格雷格·布羅克曼, [隱去])
時間:2017年6月13日 上午10:24
好的。我們來找找成本最低的方案,確保計算能力不再成為制約因素...
---
主題:建構AGI的事業 📎
發件人:伊利亞·蘇茨克維 (Ilya Sutskever)至 埃隆·馬斯克, 格雷格·布羅克曼
時間:2017年7月12日 下午1:36
我們通常認為某個問題很難,是因為聰明人花了很長時間卻未能成功解決。人們很容易認為AI也是如此。然而,過去五年的進展表明,關於AI最早、最簡單的想法——神經網路——自始至終都是正確的,我們只是需要現代硬體來讓它們發揮作用。
歷史上,AI的突破不斷髮生在那些需要7到10天來訓練的模型上。這意味著,硬體定義了潛在AI突破的邊界。這更像是一個關於人類心理學的論斷,而非AI本身。如果實驗耗時超過這個範圍,就很難在頭腦中保持所有狀態並進行迭代改進;如果實驗時間更短,你只會去使用一個更大的模型。
與其說AI進展是一場硬體遊戲,不如說物理學是一場粒子加速器遊戲。但如果我們的電腦太慢,再多的聰明才智也無法實現AGI,就像如果粒子加速器太小,我們根本無法弄清宇宙的運作方式。足夠快的電腦是一個必要條件,而過去所有的失敗,可能都只是因為電腦對於AGI來說太慢了。
直到最近,人們還無法將大量GPU協同使用以加速實驗,因此學術界和工業界擁有的“有效算力”是相當的。但今年早些,Google使用了比常規多兩個數量級的算力來最佳化一個分類器的架構,而這通常需要研究人員投入大量時間。幾個月前,Facebook發佈了一篇論文,展示了如何以近線性加速的方式在256塊GPU上訓練一個大型ImageNet模型(前提是一個 specially-configured 具有高頻寬互連的叢集)。
過去一年,Google Brain之所以能產出令人印象深刻的成果,是因為他們的GPU數量比其他任何人都多一兩個數量級。我們估計Brain擁有約10萬塊GPU,FAIR約有1.5-2萬塊,DeepMind則為每位研究人員分配50塊GPU用於提問,並為AlphaGo從Brain租用了5000塊。顯然,當人們在Google Brain運行神經網路時,會吃掉DeepMind所有人的配額。
我們仍然缺少建構AGI所需的幾個關鍵思想:如何利用系統對“事物A”的理解來學習“事物B”(例如,能否先教系統計數,再教乘法,然後解決文字問題)?如何建構具有好奇心的系統?如何訓練系統去發現所有類型現象背後的深層根本原因——像科學家一樣行動?如何建構一個能適應未曾精確訓練過的新情境的系統(例如,被要求在不熟悉的情境中應用熟悉的概念)?但歷史表明,只要有足夠的硬體在7-10天內運行相關實驗,正確的演算法就會被找到,就像物理學家如果有一個足夠大的粒子加速器,就能快速弄清宇宙的運作方式一樣。
有充分理由相信,深度學習硬體在未來四到五年內每年都會提速10倍。世界已經習慣了摩爾定律相對悠閒的節奏,並未準備好應對這種硬體加速將帶來的能力巨變。這種提速並非來自更小的電晶體或更快的時鐘周期,而是因為神經網路和大腦一樣,本質上可平行化的,並且新的高度平行硬體正在被建造以利用這一點。
在未來三年內,機器人學應被徹底解決,AI應能證明一個長期未決的定理,AI應能持續贏得程式設計競賽,並出現令人信服的聊天機器人(儘管無人能通過圖靈測試)。最快四年內,每項通宵實驗都將可行地使用如此巨大的算力,以至於一旦演算法正確,醒來發現AGI已成現實的可能性真實存在——而在競爭性多智能體模擬中再用這些算力實驗2-4年,演算法問題實際上就能解決。
要從事建構安全AGI的事業,OpenAI需要:
1. 每年產出最佳的AI成果。特別是,隨著硬體呈指數級改進,我們的成果將 更好。我們目前的DOTA和魔方項目將在當前算力水平下取得令人印象深刻的成果。明年的項目將更加極端,而現實可能性主要取決於我們能獲取多少算力。
2. 將我們的GPU叢集從600塊GPU盡快擴展到5000塊GPU。上限而言,這需要在未來一年投入1200萬美元的資本支出和500-600萬美元的營運支出。每年我們都需要指數級增加硬體投入,但我們有理由相信,最終建構AGI所需的硬體成本將低於100億美元。
3. 增加人員規模:從55人(2017年7月)到80人(2018年1月),到120人(2019年1月),再到200人(2020年1月)。我們已學會如何組織當前團隊,現在瓶頸在於嘗試想法的聰明人數目。
4. 鎖定壓倒性的硬體優勢。<隱去>聲稱能在2年內造出的4晶片卡,實質上是TPU 3.0,並且(如果數量足夠)將使我們能在算力上與Google幾乎平起平坐。Cerebras的設計遠優於這兩者,如果他們所言不虛,那麼獲得其獨家使用權將讓我們遠遠領先競爭對手。我們有一個結構性想法來實現這一點,但需更多盡職調查,最好通話討論。
第2、3、4點最終都需要大量資金。如果我們能確保資金,就有真正機會設定AGI誕生的初始條件。資金需求的增長將與成果的重要性同步而來。我們應該討論獲取相關資金的選項,因為這是我們直接控制之外最大的一塊。
本周進展:
· Dota 2 1v1:我們的智能體已經擊敗了我們頂級的1v1測試玩家(該玩家在北美1v1排名前30,並且與頂尖1v1選手對戰有約30%的勝率)。不過,通過一些不同尋常的怪異策略,仍然可以 exploit(利用/擊敗)這個智能體。我們正在努力理解這些漏洞(exploits)並加以修復。
· 重申上周六的成果,這是我們首次擊敗頂級測試玩家的比賽錄影:
· 每多訓練一天,智能體都會變得**更強,更難以被 exploit。
· 機器人:機器人距離解決魔方又近了一步。
· 改進後的魔方模擬器,由人類遠端操作的演示:<連結已隱去>
· 對抗性樣本
· 我們針對對抗性樣本的防禦方法在ImageNet上開始生效。
我們將在8月底前徹底解決對抗性樣本的問題。
████████████████████████████████████
██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████
███████████████████████████████████████████████████████████████████████████████████████████████████████████████
---
iMessage:關於OpenAI營利性轉型的討論 📎
發件人:希馮·齊利斯 (Shivon Zilis)至 格雷格·布羅克曼
時間:2017年7月13日 晚上10:35
談得怎麼樣?
---
發件人:格雷格·布羅克曼至 希馮·齊利斯
時間:2017年7月13日 晚上10:35
很順利!
· Dota國際邀請賽:同意圍繞國際邀請賽的時間節點宣佈;他建議讓我們的AI與冠軍隊伍中的最佳選手對戰,我覺得這很酷。我讓他打電話給<隱去>,他說他會打的。我認為這比我們原定的方案更好——原計畫是提前宣佈我們已經擊敗了最強的1v1玩家,然後在TI上設定一個終端讓觀眾可以挑戰我們的機器人████ ██████████ █████████████████ ██。
· GPU:他說按我們需要做的去做。
· Cerebras:我們稍微談了一下反向併購的想法。拋開Cerebras不談,話題轉向了組織結構(他說早期非營利絕對是正確的選擇,但現在可能不是了——出於一系列原因,Ilya和我都同意這一點)。他說他要去太陽谷,請<隱去>捐款。
---
發件人:希馮·齊利斯至 格雷格·布羅克曼
時間:2017年7月13日 晚上10:43
<隱去>和其他人。我會盡力幫你推動。
---
主題:雙周進展更新
發件人:伊利亞·蘇茨克維 (Ilya Sutskever)至 埃隆·馬斯克, 格雷格·布羅克曼
時間:2017年7月20日 下午1:56
- 機器人手:現在可以在模擬環境中解魔方:
https://drive.google.com/a/openai.com/file/d/0B60rCy4P2FOIenlLdzN2LXdiOTQ/view?usp=sharing(需登錄OpenAI帳戶)
實體機器人將於9月完成同樣任務。
- Dota 2 1v1 智能體:已無法被利用
無法再通過“非常規”策略擊敗它。
按計畫將在一個月內擊敗所有人類選手。
- 運動競技機器人:
https://drive.google.com/a/openai.com/file/d/0B60rCy4P2FOIZE4wNVdlbkx6U2M/view?usp=sharing(需登錄OpenAI帳戶)
- 對抗性樣本:發佈了一個能同時從所有角度欺騙攝影機的對抗性樣本:
https://blog.openai.com/robust-adversarial-inputs/
- DeepMind動態:直接使用了我們的演算法來產生他們的跑酷結果:
DeepMind成果:
https://deepmind.com/blog/producing-flexible-behaviourssimulated-environments/
DeepMind的技術論文明確聲明他們直接使用了我們的演算法。
我們關於該演算法的部落格文章:https://blog.openai.com/openai-baselines-ppo/(DeepMind使用的是舊版本)。
- 下一步計畫:
設計營利性架構。
與Cerebras談判合併條款。
對Cerebras進行更多的盡職調查。
---
主題:BJ計畫到2030年實現人工智慧“Made in CN” - 紐約時報 📎
發件人:埃隆·馬斯克 (Elon Musk)至 格雷格·布羅克曼, 伊利亞·蘇茨克維
時間:2017年7月21日 凌晨3:34
他們會不惜一切代價獲取我們研發的成果。這或許是(我們)調整方向的另一個理由。[附新聞報導連結]
---
發件人:格雷格·布羅克曼至 埃隆·馬斯克 (抄送:伊利亞·蘇茨克維)
時間:2017年7月21日 下午1:18
完全同意。我們認為路徑必須是:
1. AI研究非營利組織(持續至2017年底)
2. AI研究 + 硬體營利性公司(2018年開始)
3. 政府項目(時間:??)
█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████
-gdb
---
發件人:埃隆·馬斯克至 格雷格·布羅克曼 (抄送:伊利亞·蘇茨克維, [隱去])
時間:2017年7月21日 下午1:18
我們周六或日聊。我有一個初步的計畫想和你們討論一下。
---
主題:明天下午 📎
發件人:埃隆·馬斯克 (Elon Musk)至 格雷格·布羅克曼, 伊利亞·蘇茨克維, 薩姆·奧特曼 (抄送:[隱去], 希馮·齊利斯)
時間:2017年8月11日 晚上9:17
████████████████████████████████ 大家明天下午能見面或開個電話會議嗎?
是時候為OpenAI邁出下一步了。這就是觸發點。
---
主題:關於OpenAI的要點
發件人:希馮·齊利斯 (Shivon Zilis)至 埃隆·馬斯克 (抄送:薩姆·泰勒)
時間:2017年8月28日 凌晨12:01
埃隆:
正如我之前提到的,格雷格本想在本周末找你聊幾件事。後來伊利亞也加入了,他們基本上分享了所有他們仍在反覆思考的問題。以下是那次漫談式對話的提煉……歸結為七個懸而未決的問題,並附上了他們的評論。請注意,我並非在主張任何觀點,只是將我聽到的資訊進行結構化整理和分享。
1. 短期控制權結構?
是否需要絕對控制權?他們在想,是否存在一種情況(scenario),在其他所有人(不僅僅是他們三個,或許是一個更廣泛的董事會)都不同意方向時,可以有一種創造性的否決條款?
2. 控制權的持續時間和過渡?
似乎不可談判的一點是:必須有一個鐵一般的協議,確保如果AGI被創造出來,絕不讓任何一個人擁有對它的絕對控制權。滿足這一點意味著,無論他們三人發生什麼,都保證在公司成立2-3年的初始期後,公司的權力是分佈式的。
3. 時間投入?
埃隆希望在這方面投入多少時間?他實際上又能投入多少時間?在什麼時間範圍內?是每周一小時、十小時,還是介於兩者之間?
4. 時間投入在那些方面?
他們不太清楚他在其他公司喜歡如何花費時間,以及他希望如何在這方面投入時間。格雷格和伊利亞有信心可以很好地建構軟體(SW)/機器學習(ML)方面的事務。但他們在硬體方面沒有信心。他們似乎希望埃隆能在這方面投入一些時間,因為這是他們的弱項,但也希望在他感興趣的所有領域都能獲得他的幫助。
5. 時間投入與控制權的比例?
他們可以接受投入時間少/控制權少,或者投入時間多/控制權多,但不能接受投入時間少/控制權多。他們的擔憂是,如果投入時間太少,就沒有足夠的時間討論相關的背景資訊來做出正確的決策。
6. 股權分配?
格雷格在直覺上仍然傾向於平均分配。我個人不同意他的這個直覺,他主動提出並願意聽取其他建議,以重新校準他的思維模型。
格雷格指出,伊利亞在某種程度上已經貢獻了數百萬美元的價值,因為他放棄了在Google的潛在收入。
他們擔心的一個問題是,提議中的員工期權池太小了。
7.資本化策略?
他們的直覺是,一開始就籌集遠超過1億美元的資金。他們認為,僅他們需要的資料中心的成本就值這個數,因此籌集更多資金會讓他們更安心。
要點總結(Takeaways):
不確定這些是否可行,但僅從聽取他們提出的所有資料點來看,以下方案可以滿足他們當前的癥結點:
· 每周投入5-10小時並獲得近乎完全的控制權,或者投入更少時間並擁有更少的控制權。
· 設立一個創造性的短期否決權,僅適用於極端情況,且不止由格雷格/薩姆/伊利亞行使。
· 一個鐵一般的2-3年少數控制權協議,無論格雷格/薩姆/伊利亞的命運如何。
· 2億至10億美元的初始融資。
· 格雷格和伊利亞最終持有的股份高於埃隆的1/10,但不會多太多(這仍然是最模糊的一點)。
· 擴大員工期權池。
---
發件人:埃隆·馬斯克至 希馮·齊利斯 (抄送:薩姆·泰勒)
時間:2017年8月28日 凌晨12:08
這非常煩人。請鼓勵他們自己去開家公司吧。我受夠了。
---
iMessage:關於多數股權與董事會控制權的討論 📎
希馮·齊利斯 (Shivon Zilis)至 格雷格·布羅克曼
時間:2017年9月4日 晚上8:19
其實我對於提議中關於股權比例和董事會控制權的具體細節還是有點困惑。
聽起來提議似乎是:埃隆始終獲得“3個席位”和“總席位的25%”中較大的那個數,而且所有權力都集中在董事會。
格雷格·布羅克曼:
是的。不過我猜他的意圖是在初期加入你提到的否決條款,但我不確定。
希馮·齊利斯:
那麼,擁有特定股權比例究竟有什麼權力呢?
聽起來意圖是設定靜態董事會成員,或者至少董事會成員是靜態地來自某些特定群體。
不過確實很想聽聽具體細節。另外我猜,對於偶數規模的董事會,擁有50%股權是否就意味著無法做出行動?
格雷格·布羅克曼:
我認為(董事會規模)會很快擴大到至少7人。問題不在於此,而在於它何時過渡到一個傳統的董事會。
而且他聽起來堅決不可商量的是他的股權要在50%到60%之間,所以討論是否擁有多數控制權其實沒有意義。
---
主題:回覆:當前狀況 📎
發件人:埃隆·馬斯克 (Elon Musk)至 伊利亞·蘇茨克維 (抄送:格雷格·布羅克曼)
時間:2017年9月13日 凌晨12:40
聽起來不錯。這三個普通股席位(你、格雷格和薩姆)應該由普通股股東選舉產生。實際上它們將是你們的,除非在極不可能的情況下,你們隨著時間的推移失去了絕大多數普通股股東的信任,或者主動離開了公司。
我認為 A輪優先股投資方(由我擁有超級多數權)應有權任命四個(而非三個)席位。我不期望立即任命它們,但正如我所說,我將明確擁有對公司的初始控制權,但這將很快改變。
粗略的目標是組建一個12人董事會(如果這個董事會真的最終要決定世界的命運,那可能更接近16人),每位董事都深入瞭解技術,至少對AI有基本理解,並擁有強大而明智的道德觀。
除了A輪的四個席位和普通股的三個席位之外,很可能每引入一個新的主要投資者/盟友都會增加一名董事。但是,新增的具體董事成員必須得到除一票外的所有現有董事同意。罷免董事也是如此。
我們還會增加一些與投資者無關的獨立董事。適用同樣的規則:增補或移除需要得到除一票外的所有現任董事同意。
我超級累,不想把事情搞得太複雜,但這看起來大致正確。在16人董事會的規模上,我們將擁有7/16的投票權,而我將擁有25%的影響力,這是我的最低舒適水平。這在我看來很合適。如果我們邀請加入董事會的其他所有人都真的反對我們,那我們可能就該輸。
如前所述,根據我的經驗,(由優秀、聰明的人組成的)董事會是理性且通情達理的。基本上從來不會發生真正的硬仗,以至於某一張董事票成為關鍵。因此,這幾乎可以肯定(當然希望如此)將是一個沒有實際意義的問題。
最後說一句,與你們就股權和董事會事宜的討論質量給我留下了深刻印象。我對這件事有非常好的預感。
如果上述內容看起來合理,請告訴我。
埃隆
---
主題:坦誠的想法
發件人:伊利亞·蘇茨克維 (Ilya Sutskever)至 埃隆·馬斯克, 薩姆·奧特曼 (抄送:格雷格·布羅克曼, 薩姆·泰勒, 希馮·齊利斯)
時間:2017年9月20日 下午2:08
埃隆、薩姆:
這次(股權與控制權)談判,是格雷格和我參與過的風險最高的對話。如果項目成功,它也將成為世界上意義最重大的對話。對我們所有人來說,這也是一次極其個人化的深度交流。
昨天,當我們考慮在簽署不招攬協議前做出最終承諾時,我們意識到自己犯了一個錯誤。我們有幾個重要的擔憂,一直沒有向你們二位提出。我們沒有提,是因為我們害怕:害怕損害關係,害怕你們會看輕我們,害怕失去你們作為合作夥伴。
我們的這些擔憂,存在一些可能性是無法解決的。我們真心希望不會如此,但我們知道,如果現在不全部攤開討論,失敗將是必然。同時,我們也抱有希望,相信我們能共同解決這些問題,繼續攜手合作。
致埃隆:
我們非常希望與您合作。我們相信,如果我們聯手,完成使命的成功機率是最大的,收益上限也是最高的。這一點毫無疑問。我們與您合作的願望如此強烈,以至於我們願意放棄股權、放棄個人控制權、讓自己可以被輕易解僱——只要能與您合作,付出任何代價都在所不惜。
但我們意識到,我們之前輕率地忽略了“控制權”對世界可能帶來的影響。因為這聽起來太過自大,我們一直沒有認真思考“成功”所帶來的深遠影響。
目前的(控制權)結構為您提供了一條路徑,使您最終能對AGI擁有單方面的絕對控制權。您說過您不想控制最終的AGI,但在這次談判中,您向我們表明,絕對控制權對您而言極其重要。
舉個例子,您說過您需要成為新公司的CEO,這樣所有人都會知道是您在負責,儘管您也說過您討厭當CEO,並且非常不願意擔任CEO。
因此,我們擔心的是,隨著公司在AGI道路上取得真正的進展,您可能會選擇保留對公司的絕對控制權,儘管您當前的意圖並非如此。我們不同意您所說的“我們離開的能力是我們最大的權力”,因為一旦公司真正走上研發AGI的軌道,公司將比任何個人都重要得多。
OpenAI的目標是創造美好的未來,避免AGI獨裁。您擔心Demis(DeepMind創始人)可能造成AGI獨裁,我們也一樣。因此,建立一個讓您可以選擇成為獨裁者的結構是個壞主意,尤其在我們本可以建立其他結構來避免這種可能性的情況下。
我們還有一些較小的擔憂,但認為有必要在此提及:
* 如果決定收購Cerebras,我強烈感覺會通過特斯拉來完成。但既然OpenAI內部也可以做,為什麼非要這樣?具體擔憂在於,特斯拉對股東負有最大化股東回報的責任,這與OpenAI的使命並不一致。因此,最終結果可能對OpenAI並非最優。
我們相信,OpenAI非營利組織的成功,離不開您和薩姆的共同參與。薩姆起到了真正的制衡作用,這極具價值。而格雷格和我,至少到目前為止,在制衡您方面要差得多。我們認為甚至這次談判就證明了這一點:我們差點準備將長期的AGI控制權問題掩蓋起來,而薩姆卻堅持了他的立場。
致薩姆:
當格雷格和我陷入困境時,您總能給出深刻而正確的答案。您對這個問題的前進道路思考得極為深入和徹底。格雷格和我懂技術執行,但我們不理解結構性的決策在未來一個月、一年或五年內會如何演變。
但在這個過程中,我們無法完全信任您的判斷,因為我們不瞭解您的成本函數(即決策背後的根本動機和權衡)。
我們不理解CEO頭銜對您為何如此重要。您陳述的理由多次變化,很難真正理解背後的驅動因素。
· AGI真的是您的首要動機嗎?
· 這與您的政治目標有何關聯?
· 您的思考過程隨著時間的推移發生了怎樣的變化?
格雷格和伊利亞的自省:
我們在此次談判中也存在不少失誤,這裡列出一些(埃隆和薩姆,相信你們會有更多補充……):
· 在這次談判中,我們意識到,我們允許了未來2-3年的財務回報預期驅動了我們的決策。這就是為什麼我們沒有在控制權上力爭——我們覺得我們的股權足夠好了,還有什麼可擔心的?但這種態度是錯誤的,就像那些不認為AI安全是問題的AI專家一樣,因為他們並不真的相信自己能造出AGI。
· 我們在談判中沒有完全說出真心話。我們有自己的藉口,但這損害了談判處理程序,並可能導致我們同時失去薩姆和埃隆。
現有的隔閡已經多到我們認為必須見面暢談的地步。如果不這樣做,我們的合作將無法成功。我們四個今天能見面嗎?如果我們所有人都說出真相,並解決問題,我們即將建立的公司才更有可能承受住它將要經歷的強大壓力。
- 格雷格 & 伊利亞
---
發件人:埃隆·馬斯克 (Elon Musk)至 伊利亞·蘇茨克維 (抄送:薩姆·奧特曼;格雷格·布羅克曼;薩姆·泰勒;希馮·齊利斯)
時間:2017年9月20日 下午2:17
夥計們,我受夠了。這簡直是壓垮駱駝的最後一根稻草。你們要麼自己去幹點別的,要麼就繼續以非營利組織的形式營運OpenAI。在你們做出堅定承諾留下之前,我不會再資助OpenAI了,否則我就像個傻瓜,在免費資助你們創業。討論到此結束。
---
發件人:埃隆·馬斯克 (Elon Musk)至 伊利亞·蘇茨克維, 薩姆·奧特曼 (抄送:格雷格·布羅克曼, 薩姆·泰勒, 希馮·齊利斯)
時間:2017年9月20日 下午3:08
明確一下,這不是一個要求你們接受之前討論方案的最終通牒。那個方案已經不再有效了。
---
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克, 伊利亞·蘇茨克維 (抄送:格雷格·布羅克曼, 薩姆·泰勒, 希馮·齊利斯)
時間:2017年9月21日 上午9:17
我仍然對非營利結構充滿熱情!
---
主題:非營利
發件人:希馮·齊利斯 (Shivon Zilis)至 埃隆·馬斯克 (抄送:薩姆·泰勒)
時間:2017年9月22日 上午9:50
嗨,埃隆,
簡單同步一下:格雷格和伊利亞表示,他們希望繼續採用非營利結構。他們明白,要讓它運作起來,就需要提供保證,承諾不會離開去做別的事情。
還沒和奧特曼談,但他要求今天下午聊,所以有任何回覆我會再匯報。
如果有什麼我能幫忙的,請告訴我。
---
發件人:埃隆·馬斯克至 希馮·齊利斯 (抄送:薩姆·泰勒)
時間:2017年9月22日 上午10:01
好的。
---
發件人:希馮·齊利斯至 埃隆·馬斯克 (抄送:薩姆·泰勒)
時間:2017年9月22日 下午5:54
來自奧特曼的反饋:
· 結構:非常贊成保留非營利結構並繼續支援它。
· 信任:承認在這個過程中失去了很多對格雷格和伊利亞的信任。覺得他們的溝通前後不一致,有時顯得幼稚。
· 暫歇:薩姆告訴格雷格和伊利亞,他需要抽身10天好好思考。需要想清楚能信任他們多少,以及有多想和他們共事。他說之後會回來,並決定自己希望投入多少時間。
· 籌資:格雷格和伊利亞相信,如果有明確的努力,通過捐贈可以籌集到數億美元。薩姆認為數千萬美元肯定有路徑,但更多資金待定。他確實提到霍爾頓對轉向營利性感到不滿,並表示如果OpenAI保持非營利,他可能會提供更大量的資金,但尚未堅定承諾。薩姆提出了一個1億美元的數字作為可能。
· 溝通:薩姆對格雷格和伊利亞在整個過程中讓整個團隊知悉所有動態的程度感到困擾。覺得這讓團隊分心。不過,顯然在最近一天,幾乎所有人都已被告知營利結構不再推進,他至少對此感到高興,因為他只希望團隊能再次埋頭工作。
希馮
---
主題:關於ICO
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (抄送:格雷格·布羅克曼, 伊利亞·蘇茨克維, 薩姆·泰勒, 希馮·齊利斯)
時間:2018年1月21日 下午5:08
埃隆——
同步一下,我和部分安全團隊成員聊過,他們對ICO(首次代幣發行)及其未來可能帶來的非預期後果存在很多擔憂。
計畫明天和整個團隊討論,並徵集大家的意見。會強調保密的必要性,但我認為獲得團隊的支援並讓大家有機會儘早參與非常重要。
薩姆
---
發件人:埃隆·馬斯克至 薩姆·奧特曼 (抄送:格雷格·布羅克曼, 伊利亞·蘇茨克維, 薩姆·泰勒, 希馮·齊利斯)
時間:2018年1月21日 下午5:56
完全同意。
---
主題:當今頂尖AI研究機構
發件人:安德烈·卡帕西 (Andrej Karpathy)至 埃隆·馬斯克 (抄送:希馮·齊利斯)
時間:2018年1月31日 下午1:20
ICLR會議(頂級深度學習專項會議——NIPS規模更大但更分散)公佈了論文錄用/拒絕結果,有人據此繪製了一些很好的圖表,顯示了當前深度學習/AI研究的主要分佈。雖然這不是一個完美的衡量標準(因為並非所有公司都優先發表論文),但很有指示性。
這是一張顯示各機構論文總數(按口頭報告/海報/研討會/拒絕分類)的圖表:
[此處應有一張圖表]
長話短說,Google以83篇論文提交佔據主導地位。學術機構(伯克利/史丹佛/卡內基梅隆/麻省理工)緊隨其後,每家都在20-30篇的範圍。
只是覺得這是當前AI研究活躍度的一個有趣快照。完整資料在這裡:
http://webia.lip6.fr/~pajot/dataviz.html
-安德烈
---
發件人:埃隆·馬斯克至 格雷格·布羅克曼, 伊利亞·蘇茨克維, 薩姆·奧特曼 (抄送:薩姆·泰勒, 希馮·齊利斯, 轉發自:安德烈·卡帕西)*
時間:2018年1月31日 下午2:02
相對於Google,OpenAI正走在一條註定失敗的道路上。顯然需要立即採取戲劇性的行動,否則除Google外的所有人都將淪為無關緊要。
我考慮過ICO的方式,但不會支援它。依我看來,這只會導致OpenAI及所有相關者信譽嚴重受損。如果某事好得令人難以置信,那它通常就是。我認為這是一個不明智的分心之舉。
我能想到的唯一路徑是:大幅擴張OpenAI,以及大幅擴張特斯拉AI。或許兩者同時進行。前者需要大量增加捐贈資金,並讓高度可信的人加入我們的董事會。當前董事會的情況非常薄弱。
我會安排明天我們找個時間談談。明確地說,我非常尊重你們的能力和成就,但我對目前的管理方式不滿意。這就是為什麼近幾個月我很難投入OpenAI的事務。要麼我們解決問題,我的參與度大幅增加;要麼我們解決不了,我的參與度將降至近乎為零,並公開減少我的關聯。我不會處在一個外界對我影響力和時間投入的認知與現實不符的境地。
---
發件人:埃隆·馬斯克至 安德烈·卡帕西
時間:2018年1月31日 下午2:07
供你參考。
你認為怎麼做合理?如果電話更方便,樂意通話聊。
---
主題:關於未來發展路徑的思考
發件人:格雷格·布羅克曼至 埃隆·馬斯克 (抄送:伊利亞·蘇茨克維, 薩姆·奧特曼, [隱去], 希馮·齊利斯)
時間:2018年1月31日 晚上10:56
嗨,埃隆,
感謝您深思熟慮的留言。我一直對您關注大局的能力印象深刻,並完全同意我們必須改變軌跡來實現目標。明天我們詳談,下午4點後任何時間都可以。
我的觀點是,最好的未來來自於大幅擴張OpenAI。我們的目標和使命從根本上是正確的,隨著AGI臨近,這將日益成為我們的超級力量。
籌資
我們的籌資對話表明:
1. 伊利亞和我能夠說服有聲望的人相信AGI確實可能在未來≤10年內實現。
2. 這些人有捐贈的意願。
3. 這些人也有非常強烈的投資意願。
我尊重您關於ICO的決定,這也與我們自己思考的演變相符。薩姆·奧特曼一直在研究一種不依賴公開募股的籌資結構,我們很期待聽取您的反饋。
在我們交談過的人中,以下是我目前董事會成員的首選建議。也很想聽聽您名單之外的首選人選,我們可以商量如何接觸他們。
<隱去>
<隱去>
<隱去>
<隱去>
<隱去>
<隱去>(她負責Partnership on AI,最初由Demis建立以削弱OpenAI的影響力——她能帶來大量外部信譽)
未來三年(The next 3 years)
未來三年,我們必須建構三樣東西:
1. 定製AI硬體(例如<隱去>電腦)
2. 大型AI資料中心(可能需多次迭代)
3. 最好的軟體團隊,融合演算法開發、公開演示和安全研究
我們討論最多的是定製AI硬體和AI資料中心。在軟體方面,我們有一條可靠路徑(競爭性多智能體環境中的自我博弈/self-play),這已通過Dota和AlphaGo得到驗證。我們還確定了當前深度學習中存在少量但有限數量的侷限性,這些是阻礙從人類經驗水平學習的障礙。並且我們相信,我們獨特地處於在未來三年內(至少大致上)解決安全問題的軌道上。
我們計畫以這種方式擴展人員規模:
* 2017年初:~40人
* 2018年底:100人
* 2019年底:300人
* 2020年底:900人
█████████████ █████████████████ ██████
道德高地
我們最大的工具是道德高地。為保持這一點,我們必須:
1. 盡力保持非營利性質。AI將重塑社會結構,我們的受托責任應對全人類負責。
2. 將更多精力投入安全/控制問題,而不是您在其他機構中指出的遮羞布。如果所有人都死了,誰贏了都無關緊要。與此相關,我們需要傳達一種“寧可認輸,不可滅亡”的前景——我們正在努力建構安全的AGI,並且不願意在一場爭分奪秒的競賽中毀滅世界。
3. 與政府接觸,提供可信、無偏見的政策建議——我們常聽說他們不信任來自諸如████████████等公司的建議。
4. 被視作為一個為研究界提供公共產品的地方,並通過以身作則使其他參與者保持誠實和開放。
過去兩年
我很想聽聽您如何評價我們過去兩年相對於資源的執行情況。在我看來:
· 過去五年中,有兩個重要的工作系統演示:AlphaZero [DeepMind] 和 Dota 1v1 [OpenAI]。(還有更多深受從業者歡迎的“能力”突破,其中我認為頂尖的包括:ProgressiveGAN [NVIDIA]、無監督翻譯 [Facebook]、WaveNet [DeepMind]、Atari/DQN [DeepMind]、機器翻譯 [伊利亞在Google時——現於OpenAI]、生成對抗網路 [Ian Goodfellow在讀研時——現於Google]、變分自編碼器 [Durk在讀研時——現於OpenAI]、AlexNet [伊利亞在讀研時——現於OpenAI]。)我們在這條軸線上表現良好。
· 我們在2016年增長非常迅速,並在2017年迭代出了一個有效的管理結構。如有資源,我們現在已準備好大規模擴展。我們目前仍在薪酬上流失人才,但幾乎也僅因為薪酬。我已恢復早期所做的招聘風格,並相信我可以超越當時的成果。
· 我們擁有該領域人才密度最高的團隊,我們也享有這樣的聲譽。
· 我們不鼓勵論文寫作,因此論文接受率不是我們最佳化的指標。對於安德烈傳送的ICLR圖表,我預計我們的(接受論文數)/(提交論文人數)將是該領域最高的。
- gdb
---
發件人:安德烈·卡帕西 (Andrej Karpathy)至 埃隆·馬斯克
時間:2018年1月31日 晚上11:54
不幸的是,在AI的前沿領域工作成本高昂。例如,DeepMind 2016年的營運支出約為2.5億美元(不包括算力)。以他們如今不斷增長的團隊規模,現在可能接近每年5億美元。但 Alphabet 在2016年報告了約200億美元的淨利潤,因此即使DeepMind自身沒有收入,這對他們來說也相對便宜。除了DeepMind,Google還擁有Google Brain、Research和Cloud部門,以及TensorFlow、TPU,並且他們佔據了所有AI研究的約三分之一(事實上,他們甚至舉辦自己的AI會議)。
我同樣強烈懷疑,算力將是實現AGI所必需的(甚至可能是充分的)。如果歷史趨勢有任何指示意義的話,AI的進步主要是由系統——算力、資料、基礎設施——驅動的。我們今天使用的核心演算法自90年代以來基本保持不變。不僅如此,任何地方論文中發表的演算法進展幾乎都可以立即被重新實現和整合。相反,如果沒有相應的規模,僅演算法進步本身是無效的,也無法產生巨大影響。
在我看來,OpenAI目前是在燒錢,而且其籌資模式無法達到與Google(一家8000億美元市值的公司)嚴肅競爭的規模。如果你無法真正競爭,卻繼續公開進行研究,實際上可能是在讓事情變得更糟,並“免費”幫助對方,因為任何進展都很容易被他們複製並立即大規模整合。
向營利性轉型可能會隨著時間的推移創造更可持續的收入流,並且以目前的團隊,很可能會吸引大量投資。然而,從零開始打造產品會分散AI研究的注意力,需要很長時間,而且一家公司能否“追趕”上Google的規模尚不清楚,投資者也可能在錯誤的方向上施加過大壓力。
正如我之前提到的,我能想到的最有前景的選擇是讓OpenAI依附於特斯拉,將其作為現金牛。我相信依附於其他大型候選公司(例如蘋果?亞馬遜?)會因公司DNA不符而失敗。用一個火箭的比喻:特斯拉已經通過Model 3的整個供應鏈、其車載電腦和持續的網際網路連接,建造了火箭的“第一級”。“第二級”將是一個基於大規模神經網路訓練的完全自動駕駛解決方案,而OpenAI的專業知識可以顯著加速這一處理程序。如果能在約2-3年內實現一個正常運行的完全自動駕駛解決方案,我們就可以賣出大量汽車/卡車。如果我們做得非常好,交通運輸行業規模巨大,我們可以將特斯拉的市值推高至約1000億美元量級,並利用這部分收入以適當的規模資助AI工作。
我看不到任何其他方式有可能在十年內獲得可持續的、Google規模的資金。
-安德烈
---
發件人:埃隆·馬斯克至 伊利亞·蘇茨克維, 格雷格·布羅克曼
時間:2018年2月1日 凌晨3:52
[轉發了安德烈的上一條資訊]
安德烈完全正確。我們可能希望有別的出路,但在我和安德烈看來,特斯拉是唯一有可能與Google抗衡的道路。即便如此,成為Google制衡力量的機率也很小。只是它並不為零。
---
主題:AI相關進展更新
發件人:希馮·齊利斯 (Shivon Zilis)至 埃隆·馬斯克 (抄送:薩姆·泰勒)
時間:2018年3月25日 上午11:03
OpenAI
· 籌資:
不再進行ICO或“預先購買算力的金融工具”這類結構。奧特曼正在構思一種方案,讓4-5家感興趣的大型企業進行投資,如果OpenAI真的實現了某種能賺錢的AGI,回報上限為50倍。顯然,它們似乎只是為了獲得(技術)接入機會就願意投資。他想與你更詳細地討論。
· 正式退出董事會:
從技術上講,你仍然是董事會成員,所以需要給薩姆·奧特曼發一封簡短的一句話郵件,例如:“通過此郵件,我特此辭去OpenAI董事職務,自2018年2月20日起生效”。
· 未來董事會:
奧特曼表示,他可以接受我加入董事會,即使將來出現利益衝突再退出,但他擔心如果我不得不退出,其他人會認為這等於斷絕了關係。我認為目前最好的選擇是暫時不加入,而是擔任一個角色模糊的顧問。如果你有不同想法,請告訴我。他們打算讓亞當·德安傑洛作為潛在的第五位董事來接替你的位置,這似乎很不錯?
Tesla AI
Andrej目前有三個候選人在流程中,可能有1-2人會在周二來見你。他會給你發一份關於他們的簡報。
另外,他正在為一次可能的發佈起草初始宣傳措辭,準備周二討論。它會遵循我們討論過的“全端AI實驗室”的角度,但如果感覺不對,請及時糾正...這其中的資訊傳遞很棘手。
Cerebras
晶片應該能在8月提供給他們測試,他們計畫在9月讓其他人遠端訪問。
Cerebras的人還提到,他們最近收到的很多客戶諮詢,都來自那些對輝達更改服務條款(即強制企業從消費級GPU轉向企業級Pascal/Volta晶片)感到不滿的公司。
Scott Gray和Ilya繼續在他們身上花很多時間。
---
主題:OpenAI 憲章
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (抄送:希馮·齊利斯)
時間:2018年4月2日 下午1:54
我們計畫下周發佈這個——有什麼意見嗎?
OpenAI 憲章
OpenAI 的使命是確保人工通用智能(AGI)——即指在最具經濟價值的創造性工作中超越人類的高度自主系統——造福全人類。我們將嘗試直接建構安全且有益的 AGI,但如果我們的工作能幫助他人實現這一目標,我們也認為使命已經達成。為此,我們承諾遵循以下原則:
廣泛共享的利益
我們承諾利用我們對 AGI 部署所獲得的任何影響力,確保其用於全人類的利益,並避免支援那些危害人類或不當集中權力的 AI 或 AGI 使用方式。
我們的首要受托責任是對全人類負責。我們預計需要調動大量資源來完成使命,但將始終積極行動,以減少員工和利益相關者之間可能損害廣泛利益的利益衝突。
長期安全
我們致力於開展使 AGI 安全所需的研究,並推動此類研究在 AI 社區的廣泛採用。
我們擔心晚期 AGI 開發會變成一場缺乏足夠安全預防時間的競爭性競賽。因此,如果一個價值觀一致、注重安全的項目在我們之前接近建構出 AGI,我們承諾停止競爭並開始協助該項目。我們將通過具體案例協議來明確細節,但典型的觸發條件可能是“在未來兩年內取得超過一半的成功機率”。
技術領先
為了有效應對 AGI 對社會的影響,OpenAI 必須處於 AI 能力的前沿——僅靠政策與安全倡導是不夠的。
我們相信 AI 在 AGI 之前就會產生廣泛的社會影響,因此我們將努力在與我們的使命和專業知識直接相關的領域保持領先。
合作導向
我們將積極與其他研究及政策機構合作;我們致力於建立一個全球共同體,共同應對 AGI 帶來的全球性挑戰。
我們承諾提供公共產品,以幫助社會應對通往 AGI 的道路。目前這包括發佈我們的大部分 AI 研究成果,但我們預計,安全與保密問題會減少我們傳統的發佈方式,同時增加分享安全、政策與標準研究的重要性。
---
發件人:埃隆·馬斯克至 薩姆·奧特曼
時間:2018年4月2日 下午2:45
聽起來沒問題。
---
主題:AI相關進展更新(續)
發件人:希馮·齊利斯 (Shivon Zilis)至 埃隆·馬斯克 (抄送:薩姆·泰勒)
時間:2018年4月23日 凌晨1:49 (同一主題對話的延續)
根據與奧特曼的談話更新資訊。您暫定於周二與他通話。
融資:
· 他再次確認,他們絕對不做ICO,而是採用有固定最高回報上限的股權方式。
· 將採用一個相當獨特的子公司結構來進行本輪融資,他想詳細向您說明。
· 希望在未來4-6周內啟動第一輪融資(可能主要來自Reid的資金,也可能有一些企業投資者)。
技術:
· 稱Dota 5v5的進展比預期更好。
· Dota機器人性能的急劇提升顯然讓內部一些人開始擔憂,AGI的時間線可能比他們之前認為的更早。
· 認為他們很快就能攻克《蒙特祖馬的復仇》。
時間分配:
· 我已將過去用於OpenAI的大部分時間重新分配給了Neuralink和特斯拉。這隨著您退出董事會及相關因素自然發生——但如果您希望我將更多時間拉回OpenAI的監督工作,請告訴我。
· 薩姆和格雷格詢問我是否願意加入他們的非正式顧問委員會(目前只有Gabe Newell)。考慮到潛在的利益衝突,這似乎可行,且比正式董事會更合適?如果您覺得不妥,請告訴我您的偏好。
---
主題:回覆:OpenAI 進展更新 📎
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克
時間:2018年12月17日 下午3:42
嘿,埃隆——
我們計畫在明年第一季度舉辦一場最終的Dota錦標賽,邀請任何想參賽的職業戰隊,在無限制規則下爭奪高額獎金。之後,我們將宣告無模型強化學習完成,並抽調部分團隊成員,轉而用基於模型的強化學習重新攻克1v1 Dota。
我們還計畫在第一季度發佈一系列機器人手的演示——解魔方、轉筆、轉健身球。學習新任務的速度應當會非常快。今年晚些時候,我們會嘗試將兩隻手分別安裝在兩條機械臂上,看看能實現什麼……
我們在語言方面也進展迅速。我希望明年能實現生成短篇故事和一個優秀的對話機器人。
████████████████████████████████████████████████████████████████████████████ 我們希望利用這種無監督學習建構能完成困難任務的模型,例如,絕不犯人類不會犯的圖像分類錯誤——這在我看來意味著某種程度的概念理解。
在多智能體環境中,我們同樣進展良好,多個智能體現在能協作建造簡單結構、玩雷射 tag 遊戲等。
最後,我正在推進一項合作,將我們的計算服務從Google遷移至微軟(此外我們還有自己的資料中心)。
如果您覺得有幫助,我也很樂意討論籌資(即使積極擴張,我們的資金也足夠支撐約2年)和硬體規劃的演變——這兩項最好不在郵件中討論,或許下次您來時面談?
薩姆
---
發件人:埃隆·馬斯克至 薩姆·奧特曼
時間:2018年12月17日 下午3:47
聽起來不錯。
周三晚上在舊金山見面應該可以。
---
主題:我覺得有必要再次強調 📎
發件人:埃隆·馬斯克 (Elon Musk)至 伊利亞·蘇茨克維, 格雷格·布羅克曼 (抄送:薩姆·奧特曼, 希馮·齊利斯)
時間:2018年12月26日 中午12:07
我對OpenAI在不進行執行方式和資源上的徹底改變的情況下,能與DeepMind/Google抗衡的可能性的評估是0%。不是1%。我希望事實並非如此。
即使籌集數億美元也不夠。這需要每年立即投入數十億美元,否則就放棄吧。
不幸的是,人類的未來掌握在<隱去>手中。[附文章連結]
█████████████████████████████████████████████████████████████████████████████████████████████████████████████████
OpenAI讓我想起了貝索斯和藍色起源(Blue Origin)。他們遠遠落後於SpaceX,而且差距還在拉大,但貝索斯的自負讓他瘋狂地認為他們並沒有落後!
我真心希望我是錯的。
埃隆
---
主題:OpenAI
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克 (抄送:薩姆·泰勒, 希馮·齊利斯)
時間:2019年3月6日 下午3:13
埃隆——
這是我們計畫周一發佈的公告草稿。有什麼需要補充或修改的嗎?
內容提要:
· 我們已成立利潤上限公司並完成了由Reid和Vinod領投的首輪融資。
· 我們確保所有投資者都清楚,他們不應期望獲得利潤。
· 我們任命格雷格為新實體的董事會主席,我擔任CEO。
· 我們已與潛在下一輪投資者測試過這一結構,他們似乎表示認可。
說到最後一點,我們目前正在討論一筆數十億美元的投資,希望您有空時能給予建議。很樂意在您來灣區時見面詳談。
薩姆
公告草稿[3]
---
主題:彭博社:埃隆·馬斯克聯合創立的AI研究組織啟動營利性分支
發件人:埃隆·馬斯克 (Elon Musk)至 薩姆·奧特曼 (Sam Altman)
時間:2019年3月11日 下午3:04
請明確說明,我在OpenAI的營利性分支中沒有任何經濟利益。
---
彭博社:埃隆·馬斯克聯合創立的AI研究組織啟動營利性分支
OpenAI,這家位於舊金山、由埃隆·馬斯克及其他幾位矽谷知名企業家聯合創立的人工智慧研究組織,正在啟動一個營利性分支,以便籌集更多資金。閱讀全文
(來自Apple News分享)
---
發件人:薩姆·奧特曼 (Sam Altman)至 埃隆·馬斯克
時間:2019年3月11日 下午3:11
正在處理。
---
iMessage :埃隆·馬斯克與薩姆·奧特曼之間的對話 📎
埃隆·馬斯克至 薩姆·奧特曼 – 2022年10月23日 凌晨3:06
我是埃隆。
這是新的奧斯汀號碼。
看到OpenAI估值達到200億美元,我感到不安。事實上,我提供了幾乎所有的種子輪、A輪和大部分B輪資金。
https://www.theinformation.com/articles/openai-valued-at-nearly-20-billion-in-advanced-talks-with-microsoft-for-more-funding
這簡直是誘餌調包。
---
iMessage:薩姆·奧特曼與希馮·齊利斯之間的對話 📎
薩姆·奧特曼- 上午8:07
收到了埃隆這個,你有什麼建議:<10月23日埃隆與薩姆iMessage截圖>
你之前向他提供過股權的事,他當時拒絕了,對吧?
我不明白他說的A輪和B輪是什麼意思。
希馮·齊利斯
不清楚具體問題是什麼。是沒有股權?公眾仍然認為這是他最初資助的同一個實體(OpenAI這個名字)?還是僅僅對發展方向有分歧?
當時向他提供過,但被他拒絕了。我不記得當時為此決定了什麼具體路徑。如果我沒記錯的話,我以為你直接問過他?
如果需要更多背景,可以打電話,但總體建議是:不要立即回覆簡訊。
薩姆·奧特曼- 晚上9:13
有空快速看一下嗎?
我同意這感覺不好——我們在設立利潤上限公司時曾向你提供股權,雖然你當時不想要,但如果你現在願意,我們仍然非常樂意這樣做。鑑於我們所需的資金規模,且除了利潤上限結構外仍需保留“將AGI賦予人類”的方式(該結構也允許董事會出於安全原因取消所有股權),我們認為沒有其他結構變更的選擇。順便說一句,我個人沒有股權,也從未有過。我正盡力在棘手的鋼絲上行走,隨時樂意在你方便時探討如何改進。也很樂意向你展示最近的進展。
薩姆·奧特曼- 晚上10:50
(我發了)
收到回覆:本周大部分時間我會在舊金山處理推特收購事宜。我們周二或周三聊。
希馮·齊利斯
抱歉剛在睡覺!這幾天太長了。很好。 (Whale Thinking)