#首席科學家
•

前Google首席科學家Jeff Dean：晶片設計要自動化，才能不用去賭兩年後的算力需求

在近期舉辦的第七屆DevLabs大會上，前Google首席科學家Jeff Dean與Google雲AI基礎設施負責人Bill Jia展開了一場深度爐邊對話，圍繞GoogleTPU近十餘年的演進歷程展開系統回顧，話題涵蓋Google搜尋基礎設施的早期規模化、TPU的誕生契機、歷代TPU架構迭代、軟硬體協同設計、十萬晶片級叢集的可靠性工程、開源生態戰略、PyTorch生態適配、專用硬體自動化設計、推理時代的基礎設施重構等，並在最後的觀眾問答環節回應了商用硬體與專用超算路線之爭、3D環形拓撲的擴展極限，以及開發者如何參與開源生態擺脫對CUDA依賴等問題。 Jeff Dean提出，當前晶片設計流程仍高度依賴人工編寫暫存器傳輸級程式碼，若能借助強化學習等自動化搜尋循環實現設計流程自動化，晶片研發周期有望從150人兩年壓縮到10人三個月，這將從根本上改變專用硬體的經濟性，使團隊不必再為兩到六年後的算力需求押注。他還指出，在十萬晶片規模下Google依然堅持完全同步訓練以保證可復現性，此外他認為，Google能夠持續迭代TPU的核心優勢並非單點技術突破，而是硬體設計師、編譯器工程師與機器學習研究人員之間高頻且雙向的內部反饋循環，這種協同設計能力本身就是難以複製的護城河。 01 Google搜尋基礎設施的早期規模化
前Google首席科學家Jeff Dean：晶片設計要自動化，才能不用去賭兩年後的算力需求
科技#Google#首席科學家#晶片設計
•

比爾·戴利：一個從高中輟學生到輝達首席科學家的傳奇

在科技界，比爾·戴利（Bill Dally）的名字幾乎與“技術顛覆者”同義。他的人生軌跡充滿矛盾：高中輟學生卻成為斯坦福大學電腦系主任，麻省理工學院終身教授卻選擇加入一家虧損的晶片公司，學術泰斗卻熱衷於極限運動。作為輝達首席科學家，戴利以驚人的創造力、跨領域的學術成就和對技術趨勢的前瞻性判斷，成為推動現代計算技術發展的關鍵人物。01/逆襲：從輟學生到學術泰斗戴利的學術之路起始並不順利，因為不想耐著性子上歷史課，他高中就輟學了。在做汽車修理工期間，他憑藉考試成績設法進入了大學。此後，他一路“開掛”，雖未獲得高中文憑，卻拿到了弗吉尼亞理工大學的學士學位、斯坦福大學的碩士學位和加州理工學院的博士學位。30歲出頭時，他就成為了麻省理工學院的終身教授。02/執著：冒險與極限戴利在閒暇之餘，是個十足的冒險愛好者。他或是騎自行車直到筋疲力盡，或是在塔霍湖上劃船，或是參加速降滑雪比賽，甚至曾從格瑞那達一口氣航海到安提瓜。這位科學家還熱衷於自己動手組裝電腦，喜歡親自駕駛飛機。1992年9月的一個陰沉的日子，他駕駛一架單引擎的塞斯納飛機跨越長島海峽時遭遇意外，機油指示燈亮起，引擎熄火。在這生死攸關的時刻，他展現出了驚人的冷靜與智慧，迅速將飛機調整為滑翔模式，準備在海灣緊急迫降。飛機撞向水面，他鼻子骨折流血，卻在暈眩中奮力打破機艙窗戶，跳入海浪，最終幸運獲救。之後，戴利把這次事件編入了飛行模擬器，反覆練習，10次之後終於成功地在格羅頓—新倫敦機場降落，而沒有掉入水中，足見他對挑戰的執著與對知識的追求。03/破界：卓越前瞻在學術成就上，戴利更是令人矚目。他寫了250篇技術論文、4本教科書，並手握120項專利，研究領域橫跨各種計算技術，從複雜電路架構到運行電源晶片，幾乎沒有他不瞭解的計算領域。在麻省理工學院時，他的團隊致力於建構實驗性平行計算機“Jellybean”。這台電腦凝聚了他對資訊技術操作方式的全新構思，每個構成部分幾乎都是根據基本原理設計、定製的。儘管最終沒能找到商業合作夥伴來製造它，但Jellybean的運行速度遠超傳統電腦，彰顯了戴利卓越的創新能力和前瞻性思維。04/逆勢：押注輝達2003年，黃仁勳的來訪，為戴利的職業生涯帶來了新的轉折點。起初，戴利只是為輝達提供諮詢服務。後來輝達向他拋出全職工作的橄欖枝。戴利拒絕了。那時，輝達出現了虧損，股價也表現低迷。就在黃仁勳想挖戴利的時候，英特爾開出了更誘人的條件，要知道，英特爾的體量是輝達的10倍。戴利猶豫了一陣，最終還是選擇了加入當時還在虧損的輝達，擔任首席科學家。2009年1月，他正式擔任輝達首席科學家，而那時，輝達的股價已經跌到了個位數。有人覺得戴利這麼做簡直不可理喻。但戴利卻毫不動搖。“黃仁勳就是那種天生的領袖，”戴利回應道，“你會願意跟著他赴湯蹈火。”加入輝達後，戴利對研究部門進行了大刀闊斧的改革。輝達一大持續優勢是隨著時間的推移，計算性價比將呈指數級增長，而戴利挑選的研究項目，如機器人、自動駕駛、氣候建模和生物化學等，都緊密貼合輝達的大趨勢。他還積極推動輝達在學術客戶方面的推廣，首屆年度“GPU技術大會”（GTC大會）的舉辦就離不開他的努力。在大會上，黃仁勳以全新的形象和出色的演講掌控全場，各種精彩的演示和前沿的研究成果展示，讓人們看到了輝達在計算領域的無限潛力。05/開放：共享生態戴利的開放態度在業內也是出了名的。他將自己眾多發現無償地發表在學術期刊上，供公眾廣泛閱讀，不求任何經濟回報。他常與AMD和英特爾的工程師聯合發表論文。戴利的開放態度讓許多人感到吃驚，有時甚至在輝達內部引起了一些不滿，但戴利的目光很長遠：他認為，向其他頂尖科學家宣傳研究工作，能吸引更多傑出人才加入，“質量會說明一切”是他常掛在嘴邊的話。結語比爾·戴利用反傳統的人生指令碼，驗證了科技史往往由"離經叛道者"書寫。他的輟學經歷、冒險基因與開放胸懷，恰似輝達從顯示卡作坊到AI霸主的隱喻——在別人止步的懸崖邊縱身一躍，方能觸摸星辰。 (Kaily飢餓筆記)
比爾·戴利：一個從高中輟學生到輝達首席科學家的傳奇
美股#比爾·戴利#輝達#首席科學家
•

【強薦】OpenAI大神首席科學家Ilya 最新11月長篇訪談全文版

前言： 今日，OpenAI大神，共同創辦人兼首席科學家Ilya的最新訪談影片發布。這是Ilya很久以來再次出來做了長篇訪談，和之前一些短暫露面裡的惜字如金不同，Ilya在這個訪談裡乾貨滿滿，涉及了AI研究的最新進展以及OpenAI的策略等等。 （喜歡看訪談全長中字影片的同學請關注「Web3天空之城」B站：b23.tv/JG0i8SN） 以下是城主摘的部分Highlight：
【強薦】OpenAI大神首席科學家Ilya 最新11月長篇訪談全文版
科技#OpenAI#首席科學家#Ilya
•

大神的誕生：OpenAI首席科學家Ilya · GPT-3發布前夕深訪全紀錄

前言： Ilya Sutskever，OpenAI聯創和首席科學家， 被Elon Musk稱之為「缺少他OpenAI絕不可能成功」的男人，在2020年GPT3發布之前，還只是AI圈裡的傳說。當GPT-3以及後續ChatGPT引爆了全球熱情之後， Ilya就成為了全球公眾眼中神一般的人物。 可惜的是， 因為現在OpenAI已經成為了“Close AI”，Llya已經很少在公眾場合談話，即使偶爾出來，所講內容也都蜻蜓點水一般。 而在2020年5月初，正是在具有劃時代意義的GPT-3發布前一個月（GPT-3於2020.6.10發布），Ilya做了一次90分鐘的深度訪談，內容非常乾貨紮實，我們可以從中完整理解，當下AI第一大神對AI的完整思考。
大神的誕生：OpenAI首席科學家Ilya · GPT-3發布前夕深訪全紀錄
科技#OpenAI#首席科學家#GPT-3