GoogleFellow級大佬出走！17年老將吳永輝加盟字節，親自操刀大模型研發

【新智元導讀】Google Fellow吳永輝博士離職Google，正式加入字節跳動，未來將專注於AI基礎研究。這位在Google深耕17年AI老將，曾主導了神經機器翻譯、RankBrain等突破性項目。

Google17年老將，正式加入字節跳動。

據報導，吳永輝博士已確認離職Google，加盟字節負責AI基礎研究領域的工作。

他將在字節擔任大模型團隊Seed基礎研究負責人，專注於大模型基礎研究搜尋、AI for Science科研工作，直接向CEO梁汝波匯報。

GoogleAI掃地僧，17年AI老將

2008年9月，吳永輝博士最初作為一名排序工程師加入Google，致力於改進Google核心網頁搜尋排名的演算法。

自2015年1月起，他轉入了Google Brain團隊，專注於深度學習及其應用研究。他是Google神經機器翻譯和RankBrain項目的核心貢獻者，推動了語音識別的技術發展。

直到2023年，他又晉陞為GoogleDeepMind研究副總裁，Google Fellow等級。

要知道，Google Fellow是Google頂尖工程師才能享有的稱號，只有極少數的員工能夠獲得這個頭銜。

有網友為此，還做了非常詳細的解說，成為Google Fellow（10級）是一個終身榮譽。

值得一提的是，目前Google只有兩位Senior Fellow（11級，相當於高級副總裁）：Sanjay Ghemawat和Jeff Dean。

以下是Google工程師的職級體系，從1級開始：

L1：IT支援人員

L2：應屆大學畢業生

L3：擁有碩士學位

L4：需要幾年工作經驗或博士學位

L5：大多數工程師的職業發展止步於此

L6：頂尖10%的工程師，他們的能力往往能決定項目的成敗

L7：具有長期優秀業績記錄的L6級工程師

L8：Principal Engineer（首席工程師），通常負責某個重要產品或基礎設施

L9：Distinguished Engineer（傑出工程師），令人敬仰的存在

L10：Google Fellow，這是終身榮譽，獲得者通常是該領域全球頂尖專家

L11：Google Senior Fellow，目前公司僅有的兩位11級工程師是Jeff Dean和Sanjay Ghemawat

吳永輝曾獲得了南京大學電腦學士學位，並於2008年獲得了加州大學河濱分校的資料科學碩士學位和電腦科學博士學位。

他的研究興趣包括資訊檢索、排序學習、機器學習、機器翻譯、自然語言處理等領域。

Gemini背後核心貢獻者

作為Google大牛，吳永輝參與了Gemini模型的開發，在團隊貢獻名單中，是Gemini應用總技術負責人之一。

他也參與了Gemini 1.5的研發，將大模型上下文擴展到100萬token。

他還是Palm 2大模型訓練團隊的核心貢獻者。

根據GoogleScholar個人介紹，截至目前，吳永輝總被引數超5萬，h-index為72。

其中，被引數最高的文章便是2016年發表的——Google's Neural Machine Translation System。

這篇論文主要提出了神經機器翻譯系統：GNMT，由一個深度LSTM網路構成，包含8層編碼器和8層解碼器，使用了注意力機制和殘差連接。

為了提高平行性並縮短訓練時間，注意力機制將解碼器的底層連接到編碼器的頂層。

為了更好地處理稀有詞彙，作者還將詞彙分解為一組有限的常見子詞單元（wordpieces），同時用於輸入和輸出。這種方法在「字元」分隔模型的靈活性和「詞」分隔模型的高效性之間提供了良好的平衡，能夠自然處理稀有詞彙的翻譯，最終提高了系統的整體精準性。

在WMT’14 英語-法語和英語-德語基準測試中，通過對一組獨立簡單句子的人工對比評估，相比於Google基於短語的生產系統，GNMT將翻譯錯誤減少了60%。

其次，被引第二高是2020年發表的Conformer，一個語音識別模型，基於Transformer改進而來。

主要改進的點在於，提取長序列依賴的時候更有效，而摺積則擅長提取局部特徵，因此將摺積應用於Transformer的Encoder層，同時提升模型在長期序列和局部特徵上的效果。

實際證明，該方法確實有效，在當時的LibriSpeech測試集上取得了最好的效果。(新智元)