當下，人工智慧蓬勃發展，創新技術不斷湧出， 整個產業正經歷一場意義深遠的變革。 而這其中，DeepSeek 和LPU 的出現格外引人注目。 DeepSeek 憑藉其卓越的性能和強大的成本優勢，迅速在全球範圍內圈粉無數，掀起了一股使用熱潮。而LPU，作為專為語言處理任務量身定制的硬體處理器，以其區別於傳統GPU 的創新架構、令人驚嘆的性能表現和超低的成本優勢，成為了AI 領域的新寵。 DeepSeek與LPU的結合，或許會為這場變革注入新的動力。 01.LPU是什麼？

隨著輝達的GPU在人工智慧產業大殺四方，中國被限制獲得先進製程，台積電也聲名大噪。當前美國堅決在核心技術上與中國脫鉤，幾乎所有與晶片相關的公司都被拉科技黑名單。人工智慧的下半場AGI的競爭，我們靠什麼勝出？如何有效率地運用運算資源和人力資源，以前瞻性的視角合理部署整個產業鏈的核心環節，從而推動產業的全面發展並惠及大小企業，已然成為我國人工智慧產業迫切需要解決的問題。 台灣半導體產業的發展歷程是值得我們借鏡的典範。 1970年代，台灣經濟急需從傳統的農業和初級工業轉變為現代工業體系。當時，美國和日本分別佔據了國際半導體市場的首席、次席位置，而台灣本土產業處於起步階段，主要承擔以通用儀器公司為代表的外資企業在島裝配任務。這在全球半導體產業鏈中處於低端位置，而反觀其自主研發的半導體產品在國際市場上則鮮有買家。為了改變這一局面，台灣省政府投資建立了工業技術研究院（ITRI），專注於實用技術的研發，並積極支持本土企業進入高端半導體製造領域。 在當時的許多國際技術合作與引進中，台灣省政府頗具前瞻性地選擇了當時尚未成熟的CMOS技術作為主攻方向。儘管初期台灣的半導體企業如聯電（UMC）主要生產應用於玩具和家電的小型晶片，技術突破並不顯著，但隨後台積電（TSMC）的崛起徹底改變了局面。當時的台積電採納了Philips公司引進的1.5微米製程技術，並創新了全球代工商業模式，專注於服務國際市場。這項策略帶來了技術創新和市場擴展的雙重成功，最終鎖定了台積電在全球半導體產業中的領導地位，其當今市值已超過6000億美元。 台積電的成功在很大程度上歸功於三個關鍵因素，其中之一是政府的前瞻性政策引導和產業佈局的合理規劃，如建立半導體技術產業園區和促進技術交流的學術研討會。本文的重點想探討的是人工智慧2.0時代，政府如何進行有效的策略部署並引導企業產品定位。

【導讀】 Groq一夜爆火的背後，是自研的語言處理單元硬體LPU，近日，Substack的專欄作家Abhinav Upadhyay為我們一步步揭示了LPU底層架構的奧秘 上月底，新創公司Groq的產品一夜爆火。 憑藉著自研的硬體加速器LPU，達成了500個token/s的神級推理速度，當場秒殺了ChatGPT。 Groq提供的反應速度刷新了人們的認知，而這要歸功於背後的語言處理單元硬體LPU（language processing unit hardware）。

Groq是近期AI晶片界的一個明星。原因是其號稱比輝達的GPU更快。3月2日，據報道，Groq收購了一家人工智慧解決方案公司Defi nitive Intelligence。這是 Groq 在2022 年收購高效能運算和人工智慧基礎設施解決方案公司Maxeler Technologies 後的第二次收購。Groq來勢很兇。 自從ChatGPT爆火以來，輝達憑藉GPU在市場上獨自求敗，雖然也出現了不少挑戰者，但都沒有像Groq這般引人注意。 成立於2016 年的Groq，其創始人是被稱為「TPU之父」的前谷歌員工喬納森·羅斯，團隊中成員不乏有谷歌、亞馬遜、蘋果的前員工。這群人透過簡單的設計開發了一款LPU（語言處理單元）推理引擎。就是這個LPU晶片讓Groq在AI市場上異軍突起，引得大家刷屏。據悉，LPU可在現今大火的LLM（大語言模型）中展現出非常快速的推理速度，比GPU有顯著提升。不要小看AI推理的市場，2023年第四季，輝達有4成收入來源於此。因此，眾多輝達的挑戰者是從推理切入的。 那麼，它是如何做到速度快的呢？為何能夠叫板輝達？在晶片架構和技術路徑上有哪些可圈可點之處？。。。。對於這款引發廣大關注的晶片，許多人也希望能夠了解背後究竟有哪些玄妙？近日，半導體產業觀察有幸採訪到了北京大學積體電路學院，長聘副教授孫廣宇，孫教授為我們提供了一些專業見解，至於網路上對Groq價格的各種推測，其比性能等估算更複雜，本文在此將不作過多探討，而是著重於技術層面的解析，以期為讀者帶來一些啟發。

速度，在這裡成了Groq的雙面刃。 財報發布前兩天，英偉達（輝達）突然冒出來一個勁敵。 一家名叫Groq的公司今天在AI圈內刷屏，殺招就一個：快。 在傳統的生成式AI中，等待是稀鬆平常的事情，字符一個個蹦出，半天才能回答完畢。但在Groq今天開放的雲端服務體驗平台上，你看到的會是一秒一螢幕。當模型收到提示後，幾乎能夠立即產生答案。這些答案不僅真實可信，還附有引用，長度更是達到數百個字。

【導讀】卷瘋了！世界最快的大模型Groq一夜之間爆火，能夠每秒輸出近500個token。如此神速的響應，背後全憑自研的LPU。 一覺醒來，每秒能輸出500個token的Groq模型刷屏全網。 堪稱是「世界上速度最快的LLM」！ 相較之下，ChatGPT-3.5每秒產生速度僅40個token。