最近，許久沒有新動向的馬斯克放出了大消息——他旗下的人工智慧新創公司xAI將投入巨資建造一個超算中心，以保證Grok 2及之後版本的訓練。這個「超級運算工廠」預計於2025年秋季建成，規模將達到目前最大GPU叢集的四倍。

前段時間，OpenAI、Google、微軟相繼開大會，AI圈的競爭如火如荼。

這麼熱鬧的時候，怎麼能少得了馬斯克。

前段時間忙著特斯拉和星鍊的他，最近好像開始騰出手，而且不鳴則已、一鳴驚人，直接放出一個大消息——自己要造世界上最大的超算中心。

今年3月，他旗下的xAI發布了最新版的Grok 1.5，此後一直有關於Grok 2即將面世的傳說，但卻遲遲沒有官方消息。

沒錯，億萬富翁可能也買不到足夠的晶片。今年四月他曾親自下場表示，沒有足夠多的先進晶片，推遲了Grok 2模型的訓練和發布。

他表示，訓練Grok 2需要大約2萬個基於Hopper架構的輝達H100 GPU，並補充說Grok 3模型及更高版本將需要10萬個H100 晶片。

特斯拉第一季的財報也顯示，公司先前一直受到算力的限制，當時馬斯克的計畫還是年底前部署8.5萬個H100 GPU，將xAI從紅杉資本和其他投資者籌集的60億美元中的大部分都花在晶片上。

目前每台H100的售價約3萬美元，不算建造費用和其他伺服器設備，光是晶片就需要花掉28億美元。

根據馬斯克的估算，這個晶片儲量訓練Grok 2綽綽有餘。

但可能老馬思考了一個月之後，覺得這一步還不夠大，不夠突破性。畢竟xAI的定位是要跟OpenAI、Google這種強勁對手正面掰頭的，以後想訓練模型可不能再因為算力掉鍊子。

於是，他最近公開表示，xAI需要部署10萬個H100來訓練和運行Grok的下一個版本。

而且，xAI還計劃將所有晶片串聯成一個巨大的電腦——馬斯克稱之為「超級運算工廠」（Gigafactory of Compute）。

老馬這個月已經向投資者表示，他希望在2025年秋季之前讓這台超級電腦運行起來，而且他將「個人負責按時交付超級電腦」，因為這對於開發LLM至關重要。

這台超算可能由xAI與Oracle合作共建。這幾年來，xAI已經從Oracle租用了帶有約1.6萬個H100晶片的伺服器，是這些晶片最大的訂單來源。

如果不發展自己的算力，未來幾年xAI在雲端伺服器上很可能就要花費100億美元，算下來居然還是「超級運算工廠」比較省錢。

這個「超級運算工廠」一旦完工，規模將至少是目前最大GPU叢集的4倍。

例如Meta官網在3月發布的資料顯示，他們當時推出了2個包含2.4萬個H100 GPU的叢集用於Llama 3的訓練。

雖然輝達已經宣布今年下半年開始生產並交付全新架構Blackwell的B100 GPU，但馬斯克目前的計畫仍是採購H100。

為什麼不用最新型號的晶片，反而要大量購入快要淘汰的型號？這其中的原因，老黃本人向我們解釋過－－「在今天的AI競爭裡，時間很重要」。

輝達會每一年更新一代產品，而如果你想等我的下一個產品，那麼你就失去了訓練的時間和先發優勢。
下一個達到里程碑的公司會宣布一個突破性的AI，而接下來的第二名只在它上面提升0.3%。你要選擇做哪一種？
這就是為什麼一直做技術領先的公司很重要，你的客戶會在你上面建造並且相信你會一直領先。這裡面時間很重要。
這就是為什麼我的客戶現在依然瘋狂的正在建立Hopper系統。時間就是一切。下一個里程碑馬上就來。

然而，即使一切順利，「超級運算工廠」在馬斯克的「個人負責」下按時交付，這個叢集到了明年秋天是否仍然有規模優勢，也是一個未知數。

祖克柏今年1月曾經在Instagram上發帖，稱Meta到今年底將再部署35萬個H100，加上之前的算力總共相當於60萬個H100，但他並未提及單個集群的芯片數量。

但這個數字幾乎沒過半年就幾乎翻了一番，5月初Llama 3發布前，有消息稱Meta已從輝達額外購買了50萬塊GPU，總數達到100 萬塊，零售價值達300億美元。

同時，微軟的目標是到年底擁有180萬個GPU，OpenAI甚至更加激進，希望為最新的AI模型使用1000萬個GPU。這兩家公司也正在討論開發一個價值1000億美元的超級計算機，包含數百萬個輝達GPU。

這場算力之戰，最後誰會勝出呢？

而且不只是H100，輝達CFO Colette Kress曾經提到過一份Blackwell旗艦晶片的優先客戶名單，包括OpenAI、亞馬遜、Google、xAI等等。

即將投產的B100，以及輝達之後將要一年一更的晶片，將會源源不斷地進入科技巨頭們的超算中心，幫助他們完成算力的升級迭代。

馬斯克在談到特斯拉的算力問題時也補充說，雖然迄今為止晶片短缺是AI發展的一大限制因素，但電力供應在未來一兩年將至關重要，甚至取代晶片成為最大的限制因素。

包括新建的這家「超級運算工廠」的選址，最需要考慮的因素也是電力供應。一個擁有10萬GPU的資料中心可能需要100兆瓦的專用電力。

要提供這種量級的電力，xAI總部辦公室所在的舊金山灣區顯然不是理想的選擇。為了降低成本，資料中心往往建在電力較便宜且供應較充足的偏遠地區。

例如，微軟和OpenAI除了計劃那個耗資千億美元的超算，也在威斯康辛州建造大型資料中心，建造成本約為100億美元；亞馬遜雲端服務的資料中心則選址在亞利桑那州。

「超級運算工廠」一個非常可能的選址，是特斯拉總部，德州奧斯汀市。

去年特斯拉宣佈建造的Dojo就部署在這裡了。這台超算基於客製化晶片，幫助訓練AI自動駕駛軟體，也可以用於向外界提供雲端服務。

第一艘Dojo運行在1萬個GPU上，建造成本約3億美元。馬斯克4月表示，特斯拉目前共有3.5萬個GPU用於訓練自動駕駛系統。

在資料中心進行模型訓練是一個極為耗電的過程。據估計，訓練GPT-3的耗電量為1287兆瓦時，約相當於130個美國家庭每年消耗的電力。

注意到AI電力問題的CEO不只馬斯克一人，Sam Altman本人曾向新創公司Helion Energy投資3.75 億美元，這家公司旨在利用核融合提供一種更環保、更低成本的AI 資料中心運作方式。

馬斯克則沒有押注在核融合技術上，他認為，AI公司很快就會開始爭奪降壓變壓器（step down transformer），可以將高壓電流轉換為電網可用的電力，「從公用電網獲得的電力（例如300 千伏）降至1 伏特以下是一個巨大的下降」。

晶片之後，AI產業需要「transformers for Transformers」。(新智元)

https://www.theinformation.com/articles/musk-plans-xai-supercomputer-dubbed-gigafactory-of-compute?rc=epv9gi

https://www.inc.com/ben-sherry/elon-musk-touts-nvidia-dominance-predicts-a-giant-leap-in-ai-power.html

https://finance.yahoo.com/news/jensen-huang-elon-musk-openai-182851783.html?guccounter=1

4月13日-4月14日，在香港會展中心舉辦的2023數字經濟峰會，是科技創新發展領域的一大盛事。活動收到全世界熱烈反響，吸引了來自幾十個國家和地區的約4萬人註冊。

峰會期間，香港特別行政區創新科技局局長孫東偕同署理政府資訊科技總監黃志光接受了記者的採訪。

孫東表示：“我們看到了世界各地，對於內地及香港發展科技創新推動高質量發展的熱情期盼。我們也非常希望將來香港的科技創新發展能有更大的動作，同時與內地進一步加強合作，更好的融入國家發展大局，為國家的高質量發展做貢獻。”

本期《訪談錄》記錄此次訪談內容，整理如下，以饗讀者。

圖注：孫東（左）、黃志光（右）接受記者採訪

香港正發揮國際化優勢   全面融入國家發展大局

請問您認為，香港在推動中國乃至全球的數字經濟發展過程中，可以扮演什麼角色？

孫東：目前，數字經濟的作用越來越得到加強，亦可能成為未來高科技競爭的主戰場。在建設數字中國的戰略下，香港首先要融入國家發展大局，融入國家的數字經濟發展中去，為國家的高質量發展做貢獻。此外，我相信，數字經濟未來佔全國GDP比重將越來越大，且數字經濟也能夠與實體經濟做很好的結合，例如在人工智能、物聯網等方面。這些都能夠很快的轉化到實質性的經濟發展當中。

就香港而言，除了上述的角色，香港作為國際金融中心，在幫助中國數字經濟發展上，具有更加特殊的作用。香港要利用其國際化的環境及優勢，吸引海內外一些先進的、與數字經濟相關的先進人才技術，發揮更大優勢。

香港要打造國際創新科技中心，請問香港和內地如何合作協同發展，來實現共贏？

孫東：首先，我們非常鼓勵香港的初創企業去內地發展。香港是國家的香港。原始創新能力很強的初創企業，在香港孵化起來後，無論在市場的應用程度，還是一些新產品的大型製造，以及對於各種各樣人才的吸引力和需求等方面，內地都有更大的發展空間，因此香港的初創企業去內地發展是十分重要的。

事實上，過去我們取得的一些科研成果及科創企業在內地得到了很好的發展，這也是香港融入國家發展大局，為國家作出貢獻的重要的一部分。另一方面，由於香港正在建立國際創新科技中心，我們也希望有越來越多的初創企業願意進駐香港。

為打造國際科創中心，特區政府出台了一系列優惠政策，包括成立香港投資管理有限公司，管理在未來基金下設立的香港增長組合、大灣區投資基金、策略性創科基金以及新成立的共同投資基金。這意味著，對於一些發展前景好的初創企業，特區政府願意在資金上給予一定的支持。

請問香港是否跟內地的城市進行交流，在智慧城市方面，未來應如何把香港的優勢和影響力擴大到整個大灣區乃至全國呢？

黃志光：事實上，在智慧城市方面，特區政府與廣東省的合作已有十多年曆史，與廣東省不同部門也已經成了合作的“好夥伴”。

今年三月底，特首李家超先生率團訪問廣東省多個城市，也簽署了一系列合作協議，其中就有《粵港共建智慧城市群合作協議》，旨在加強雙方交流，加快雙方數字經濟和智慧城市發展步伐，共同推進粵港澳智慧城市群的建設。其中包含多個項目，例如數據應用、數據跨境及數據共享等方面都有涉及。

此外，在跨境通辦方面，我們也會在技術和系統上與廣東省政府做了更密切更默契的聯通。事實上，非常多香港居民生活發展在粵港澳大灣區內，而跨境政務通辦若繼續優化，對於老百姓來說將是非常大的便利。

您認為上海與香港在創科領域各有哪些優勢？未來能在哪些領域開展什麼樣的合作？

孫東：上海、北京以及粵港澳大灣區是國家要立足打造的三個國際創新科技中心。

實際上，過去這段時間，香港跟上海有很強的互動。這兩個城市都是我國國際化程度比較高的城市，且都具有較高的科研實力。

上海在先進的工業化方面更為突出，而香港則具有國際金融中心的優勢。中國很大，上海與香港所處地理區域不同，上海輻射長江中下游地區，而香港位於南中國地區，國家需要不同的高科技發展地域和空間。

近期，香港與上海在創科領域也有諸多合作。例如，今年3月底，上海臨港集團與香港數碼港簽署合作備忘錄，雙方將以“姐妹園區”的方式建立全面戰略合作關係。據我了解，雙方園區都有相當多的企業願意到對方園區去發展。

香港發展數字經濟  與創新科技優勢明顯

近期公佈的隸屬於瑞士洛桑國際管理學院（IMD）全球競爭力中心（WCC）公佈的《2023年全球智慧城市排名》中，香港的排名有大幅度的提升，請問您覺得香港在發展智慧城市方面的優勢是什麼？

孫東：優勢方面，香港作為國際金融中心，擁有國際化環境，便於吸引海內外的人才，也便於應用世界各地先進的技術，進行技術交流。且香港擁有較好的基礎科研實力，再加之目前香港特區政府對於數字經濟的發展非常重視，且已經在《香港創新科技發展藍圖》中明確提出了發展智慧城市。

再者，我認為，香港建立國際創新科技中心，除了要服務國家的所需，融入國家發展大局，高質量發展以外，還有一個重要認為，就是要通過科技創新改善市民的生活。市民最容易感受到的就是智慧城市相關的發展，這也是特區政府著力發展智慧城市、智慧出行、智慧醫療、智慧生活等一系列項目的原因。這點我認為內地諸多城市做得非常好，值得港府借鑒和學習。

因此，即使此次香港在全球智慧城市排名中上升較快，但仍然有諸多需要學習和改進之處。

香港從實驗室創新技術突破，即從“0~1”技術突破方面，您認為有哪些優勢及可藉鑑之處？

孫東：香港在創新技術突破方面確實具有一定優勢。首先，從歷史角度看，香港過去幾十年對大學科研的投入非常大。香港的大學普遍與國際接軌，這裡聚集了5所世界排名前100的大學；香港的大學中有諸多海外歸來的科研人員，他們具有較為豐富的國際合作經驗。此外，香港目前與全球各地大學和科研機構都有較為緊密的合作。

另外，普通法制度是香港獨特優勢的重要組成部分，便於香港與世界很多國家和地區進一步交往。當然，“一國兩制”是香港最得天獨厚的優勢。這也成就了香港的國際化程度高，而這些對於吸引海外傑出人才來港發展，都有巨大助推作用。

香港特區政府去年公佈了《香港創新科技發展藍圖》，能不能夠簡單介紹一下，截至目前取得了哪些進展？

孫東：香港特區政府於2022年底公佈了《香港創新科技發展藍圖》，為未來五至十年的香港創新科技（創科）發展制訂清晰的發展路徑和系統的戰略規劃。政府從頂層規劃和設計著手製定《藍圖》，循“完善創科生態圈，推進香港'新型工業化'”、“壯大創科人才庫，增強發展動能”、“推動數字經濟發展，建設智慧香港”和“積極融入國家發展大局，做好連通內地與世界的橋樑”四大發展方向推進。

香港特區政府根據這四個發展方向，提出八大重點策略，包括促進上中下游相互發展、推動科技產業發展、豐富創投融資渠道以支持初創和產業發展、充實創科人才資源，建設國際人才高地等一系列措施。

目前進展層面上，今年3月中，科技部與香港特區政府在北京簽署了《內地與香港關於加快建設香港國際創新科技中心的安排》；3月下旬，香港特區政府又與廣東省政府簽署了五份合作協議，包括《粵港科技創新交流合作協議》以及《粵港共建智慧城市群合作協議》；香港特區政府還與深圳市政府就加強在河套地區的合作簽署了相關協議。

根據國家“十四五”規劃提出的《粵港澳大灣區發展規劃綱要》，深圳前海、珠海橫琴、廣州南沙及深圳河套四大合作平台將成為創新載體。我認為，河套、前海、南沙可以連城一條重要的科技走廊，聯通香港、深圳、廣州這三個城市所組成的集群，按照世界創新指數，這一城市集群目前排名全球第二。我們相信，在國家戰略佈局之下，不久的將來，這一城市集群的創新能力一定能成為世界第一。

在研發和鼓勵科研成果商品化策略和措施方面，目前香港有哪些舉措，取得了哪些成果？

孫東：香港特區政府對於將科研“由0到1”的突破力延伸至“從1至N”的成果轉化力方面非常重視。在去年特首的施政報告中，首次提出了設立100億港元的“產學研1+計劃”，資助大學研發團隊，通過產學研合作的形式，推動科研成果商品化。預計今年下半年這一計劃將正式開展。

據我所知，目前多所大學都在進行充分的準備。具體實施上，例如，為將目前科研成果轉化落地，該科研項目的負責人既需要政府的支持，也需要業界與院校的參與。通常來說，香港特區政府要求將這一轉化分為兩個階段，第一階段為三年以內要成功把科研成果落地，第二階段則是要將成果商品化，整個支持計劃總共是5年。

我認為這只是一個初步的開始，香港特區政府陸續還會推出其他相關政策，鼓勵科研院校盡可能多地發展中游的成功轉化。傳統上，香港在科研成果的上游，即“由0到1”的科研基礎方面做得較好，因此，香港特區政府這些舉措就是希望加強中游的成功轉化及下游的產業發展。

香港過去三年勞動人口流失嚴重，去年底推出的“高才計劃”在吸引內地人才方面確實有較大幫助。請問在吸引科創行業人才方面，還有哪些措施？目前有什麼進展？

孫東：我想藉此澄清一點。香港特區政府推出高才計劃，瞄準的是全球各地人才。當然內地人才申請確實較多，畢竟“春江水暖鴨先知”，內地最靠近香港，內地人才知道香港在發生何種變化，所以第一時間來申請。此外，香港特區政府也收到了非常多來自海外的申請，我相信隨著香港逐漸復常，重返世界的舞台，世界會越來越多地認識香港，我們希望，在不久的將來，能夠從世界各地吸引更多的人才來香港發展。

評判一個人才計劃的成功與否，是需要看其是否對年輕人有吸引力。我認為，高才計劃是香港特區政府非常成功的計劃。當然，我認為，吸引人才來香港是第一步，他們來香港後的工作及發展空間才是重點，因此，歸根結底，最終還是需要發展經濟。

李家超特首談的“三拼”，即“拼發展、拼經濟、拼競爭力”，我認為非常好。這些對於人才來說，是最重要的。香港只有在發展、經濟和競爭力方面都上去了，才能有更大的空間，吸引更多人才留下來。

密切關注ChatGPT最新進展  已就建立人工智能超算中心進行可研

ChatGPT的橫空出擊，對科技行業造成了一定衝擊。請問您是如何看待AI對香港科創產業的影響？

孫東：首先，我認為4月14日中國網信辦發布的《生成式人工智能服務管理辦法（徵求意見稿）》是非常好的政策。其次，對於香港來說，ChatGPT帶來的機遇與挑戰是並存的。

香港特區政府目前仍未明確公開聲明關於ChatGPT的立場。我的想法是，Open AI目前並未正式開放香港特區使用，而考慮到其帶來的一些風險，香港特區政府目前並未計劃在政府內部考慮使用ChatGPT。其次，人工智能仍處於發展演變之中，香港特區政府會繼續保持開放的態度去看待新技術的發展，且將密切關注其新進展，並在適當時候做出適當的舉措。

我認為此項技術的發展，影響將非常深遠。目前，香港特區政府也在積極與業界溝通協作，討論如何利用香港自身優勢，特別在深層次人工智能大模型的建造等方面，做出相應貢獻。相信在不久的將來，相關技術在香港能夠被推向一個新的高度。

黃志光：正如孫局長所說，特區政府對新技術的發展持開放角度。但是從技術上，算力是人工智能發展的重要基礎之一。目前，特區政府已經就建立人工智能超算中心進行可行性研究。我希望在調研完成後，能有報告支撐香港建立自己的超算中心。

彙整鉅亨號中所有使用「超算中心」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`

馬斯克燒幾十億美元造最大超算中心，10萬塊H100訓練Grok追趕GPT-4o

香港創科局局長：香港全面推動創新科技發展