“對做晶片的人來說，首先要搞清楚一件事：這顆晶片的使用者是誰。”在日前與半導體行業觀察等交流的時候，李宗霖如是說。
遵循這個原則，在2023年參與創立晶片設計公司XHEART（新芯航途）的時候，他和團隊就統一了意見——XHEART以智駕為起點，而在智駕這一應用領域裡，使用者就是演算法模型。大家最終的目標是“交付出一個軟硬協同、整體最優的解決方案”。
於是，在和演算法團隊交流過以後，新芯航途決定：用大模型定義晶片。
被改變的智駕晶片
將時鐘撥回到2023年前後，中國外已經湧現了不少智駕晶片公司。輝達和高通這樣的巨頭更是傲視全球。在中國，亦已經跑出了幾家第一梯隊的智駕晶片公司。但新芯航途團隊卻毅然決然地走向大模型晶片這個賽道。
之所以能一往無前，按照李宗霖的說法，這一方面固然與這個市場有很巨大的潛力有關。用他的話來說，競爭者眾多，說明大家都看好這一市場；另一方面，在與Momenta創始人曹旭東進行多番交流以後，李宗霖對汽車智駕晶片的未來有了新的觀察，這也最終堅定了這位二十多年晶片老兵進軍這個市場的決心。
在日前的產品發佈會上，李宗霖也分享了他創業時的兩個判斷：一是⼤模型會改變智能駕駛，也會改變芯⽚的設計⽅式。
李宗霖表示，過去的智駕系統，基本是由多個"⼩模型"拼出來的——感知是⼀個模型，預測是⼀個模型，規劃⼜是另外⼀個模型。這種看起來合理的模式背後其實隱藏著幾點挑戰：首先，資訊在模型傳遞過程中維度降低了，導致⼤量的有效資訊丟失了，資料利⽤率也被拉低了；其次，性能天花板比較低，泛化能⼒比較差。“⼩模型能⼒的上限本質上就是規則設計者的認知上限。所以⼩模型時代的智駕，本質上是⼀個‘⼈腦驅動’的系統——⼯程師寫頂層規則，機器通過⼩模型來執⾏這些規則。”李宗霖解析說。
他進一步指出，隨著Transformer端到端大模型的發展，智能汽車正逐步從傳統規則驅動走向真正的資料驅動。這一變化不僅改變了汽車理解世界和作出決策的方式，也對底層晶片提出了新的要求：
首先，晶片的價值不能僅僅體現在紙面算力上，更重要的是能否在量產大模型的實際部署環境中，將算力轉化為更快的推理速度和更及時的系統響應；
其次，晶片設計不僅需要滿足當前模型的部署需求，還必須具備面向未來模型迭代的前瞻性。如果缺乏對模型架構演進趨勢的預判，未能在設計階段預留充足的硬體資源，晶片在產品量產後就可能難以適應後續模型升級，進而限制OTA迭代能力；
再者，晶片算力的提升還必須兼顧能效表現。單純通過增加電晶體數量和計算資源來提升算力，可能帶來功耗的大幅增長，而汽車應用場景對散熱條件和能耗存在明確限制。因此，如何在有限的功耗和散熱條件下實現所需的計算能力，是晶片走向規模化應用必須解決的問題。
李宗霖創業時的另一個判斷是——⼤模型將推動新⼀輪科技變⾰，⽽汽⻋，是公司讓這場變⾰率先惠及更多⽤戶的起點。
在他看來，一項好技術的價值，在於它最終能⾛進多少⼈的⽣活。要做到這⼀點，芯⽚就必須要同時兼顧性能、能效和成本。讓更強的模型能夠⾼效運⾏，也讓⻋企能夠把這樣的能⼒帶進更多量產⻋型。
“我們希望⽤更好的⼤模型芯⽚，降低先進技術⾛向規模應⽤的⻔檻，讓更多⽤戶⽤得上、⽤得起好的智能駕駛。當技術服務的⼈越來越多，真實場景和⽤戶需求也會推動產品持續進步，規模化應⽤則能夠⽀撐下⼀輪研發。”李宗霖表示。於是從定義第⼀顆芯⽚開始，新芯航途就希望⾛通這條路：把技術做好，把產品做出來，讓更好的體驗⾛向更⼴泛的⼈群。
正是這種洞察，讓李宗霖帶領新芯航途走上了“大模型定義晶片”的這條路。
新芯航途的與眾不同
眾所周知，過去打造產品的思路是先做好晶片，再去適配模型。在產品演算法和應用都相對固化的過去，這種做法是沒有問題。但進入到AI時代，因為模型的快速變化，傳統的模式就有點捉襟見肘。
在見識到這個侷限之後，李宗霖帶領新芯航途從真實的⼤模型需求出發，重新思考計算、記憶體和資料流動，讓芯⽚的資源真正⽤在模型需要的地⽅，這就是公司所謂的“⼤模型定義芯⽚”。“我們堅信，這是值得投⼊的技術⽅向，能夠讓⼤模型的進步真正⾛進產品、服務⽤戶。”李宗霖強調。他還特別指出，作為公司非常重要戰略合作夥伴的Momenta，在公司定義晶片的過程中發揮了重要作用。
Momenta CEO曹旭東在分享中也從一個演算法供應商的角度談了他對大模型定義晶片的看法。
他表示，隨著自動駕駛等物理AI應用向大模型發展，通用晶片已經難以同時滿足性能、功耗、車規可靠性和成本要求，必須從大模型的實際需求出發重新定義晶片架構。因為相比通用晶片，前者性能有望提升10倍。尤其是面向規模化L4自動駕駛，模型參數規模至少需要達到10B，大機率需要100B（1000億）。但通用晶片很難在車端有限的功耗、嚴格的車規可靠性和成本約束下支撐如此大規模的模型，這被他稱為通用晶片的“不可能三角”。
為此，曹旭東認為，晶片不能再簡單沿用通用GPU的設計思路，而需要圍繞大模型的計算需求進行專門設計，在滿足車端約束的同時，支撐更大參數規模的模型運行。“這一技術方向不僅適用於自動駕駛，也有望解決機器人等物理AI領域面臨的算力瓶頸，成為推動物理AI能力突破的重要基礎。”曹旭東進一步指出。
李宗霖也告訴半導體行業觀察，在定義晶片的過程中，Momenta演算法團隊提供未來演算法發展趨勢及實際應用需求方面的輸入，而新芯航途的晶片團隊則負責晶片架構與設計等核心工作。雙方通過深入交流，明確演算法對晶片平台的核心需求及未來發展方向，以此推動晶片與演算法的協同最佳化。“Momenta是XHEART重要的戰略合作夥伴，雙方並沒有任何捆綁。公司和Momenta的合作遵循市場化原則，並不限制向其它客戶供貨。所有客戶合作都雙向選擇、公平合作。換而言之，其它基於Transformer架構演算法的演算法方案商，同樣可以基於XHEART晶片做適配和開發。”李宗霖重申。
據透露，基於這個理解，新芯航途依託強大的體系優勢，率先實現了X7 系列的量產，並在不到 24 小時內點亮全晶片，17 天完成整車閉環，21 天接受合作夥伴實車檢驗。自8個月前量產以來，該晶片的累計出貨已經超過 20 萬顆，搭載 10 款量產車型，獲得超過 40 款車型訂單；
站在這個成績的基礎上，新芯航途並沒有驕傲，而是以“量產一代、開發一代、預研一代”的步驟推進產品演進，並在近日帶來了公司更新的大模型定義芯⽚ X7 Ultra。
700TOPS大模型晶片亮相
據介紹，作為一款面向端到端大模型智能駕駛設計的車規級晶片，XHEART X7 Ultra的核心特點是以真實量產智駕大模型為最佳化對象，通過超大核NPU架構、關鍵算子加速、AI工具鏈重構和深度異構計算等，提升大模型在車端的實際運行效率。
得益於其領先的配置，X7 Ultra具備700 TOPS大模型算力，能在處理很多智能駕駛任務的時候遊刃有餘。據透露，這一指標並非單純依據實驗室基準測試得出，而是在真實量產智駕模型、量化後模型精度超過99.99%對齊的條件下實現的。
能達成這樣的成就，按照李宗霖所說，公司為X7 Ultra帶來的超大核NPU架構功不可沒。具體而言，就是將傳統小核之間百GB/s級的資料互動提升至超大核內部TB/s級，並通過大容量、高並行多級快取減少資料搬運和計算等待。同時，針對Transformer模型中的LayerNorm、Softmax、Transpose等關鍵算子，新芯航途還專門設計硬體加速器，並支援高精度浮點向量計算，以兼顧推理速度與精度。
“如果採用小核架構，受限於單核算力，大模型必須被拆分成多個子模型運行，會帶來巨大的資料搬移量，整體效率大幅降低。超大核方案的優勢在於能將整套端到端大模型在單顆大核內完整運行，無需在計算中途將資料轉出、快取至外部記憶體，對大模型負載十分友好。”李宗霖解釋說。事實上，從測試資料可以看到，X7 Ultra NPU的計算利用率達到98.7%，相較行業旗艦產品，記憶體頻寬消耗降低80%，能效提升100%。由此可見看到這個架構的先進性。
除了NPU以外，X7 Ultra率先採用了中國首發量產的Armv9車規級CPU，也是該晶片中不得不提的另一個亮點。據介紹，借助其繼承的 SVE2 向量處理、大叢集架構及 L3 快取訪問最佳化，新CPU能更高效地處理複雜系統任務。相較上一代核心，其性能也提升了20%、能效提升了10%。
此外，針對雷射雷達和攝影機等感測器處理需求，新芯航途升級了X7 Ultra的感測器處理子系統，讓雷射雷達處理能力達到2000萬點/秒，攝影機處理穩定性相較競品也提升100%，改善了感測器處理的即時性和確定性。
軟體層面，X7 Ultra對AI工具鏈進行了深度重構，引入整網級融合技術，將不同層級、不同分支的計算任務統一編排和合併，實現整網記憶體零複製，減少中間資料反覆寫入和讀取外部記憶體，從而降低記憶體頻寬開銷，讓NPU將更多資源用於實際計算。
安全方面，X7 Ultra滿足ISO 26262 ASIL-B功能安全要求，內建MCU通過ASIL-D認證，資訊安全滿足國密二級要求，並支援多種物理攻擊防護手段。此外，晶片還強調通過高效算力和預留的模型迭代空間，為智駕演算法持續升級提供支援。
總而言之，從上述的介紹我們可以看到，X7 Ultra的核心思路並非單純追求TOPS指標，而是圍繞大模型的計算特徵重新設計NPU、記憶體訪問、算子加速和軟體工具鏈，再通過CPU、感測器處理及安全架構的協同，提升大模型在車端的實際運行效率。
其強調的正是從模型需求出發定義晶片，而不是讓大模型遷就通用晶片架構。
寫在最後
展望未來，曹旭東表示，過去四年，車端模型規模增長約5—10倍，而未來兩年有望增長10—100倍，進而推動智駕模型能力實現跨越式提升。基於這一判斷，曹旭東預測，2028年有望成為L3、L4自動駕駛的規模化突破節點，類似2024年城市NOA的普及；到2030年，L3、L4則有望迎來規模化落地。
“為了實現這個目標，大模型定義晶片將成為推動智駕摩爾定律進一步加速的關鍵因素。大模型晶片帶來的算力提升，將進一步釋放Model Scaling（模型規模擴展）的潛力。”曹旭東說。
李宗霖也透露，新芯航途正在研究算力高達3000TOPS的下一代算力晶片。而依賴於這個算力，能夠滿足L4等級自動駕駛的需求。
“自成立以來，我們就確定了簡單純粹的共同目標，那就是做出一顆好晶片，交付出一個軟硬協同、整體最優的解決方案，為客戶創造價值，協助主機廠打造滿意的使用者智駕體驗。”李宗霖強調。從這個角度看，晶片算力的提升只是起點，如何讓更大規模的模型在車端真正跑起來，並最終轉化為量產車型上的智駕體驗，才是這場技術競賽的真正落點。
顯然，新芯航途的團隊，已經為此做好了充分的準備。 (半導體芯聞)