•
圖靈諾獎得主等大佬齊聚海淀！清華版Sora震撼首發，硬派AI盛會破算力黑洞
【新智元導讀】在今天的2024中關村論壇年會「人工智慧主題日」上，可謂精彩紛呈，亮點頻出。清華團隊發布了最接近Sora的Vidu視頻大模型，驚豔的demo令現場觀眾連連驚呼。北大教授、中科院院士鄂維南和中國工程院院士、中國人工智慧學會理事長戴瓊海等的演講，則將論壇推向了無比專業的高度。
中關村論壇舉辦以來的首個主題日活動：「人工智慧主題日」今日開啟！
到場嘉賓，也是星光熠熠，大佬雲集，還有著濃濃的國際範兒，與世界頂尖水平接軌。
總共161位嘉賓，近一半是外籍AI大佬和從業人員。
而嘉賓陣容也是非常豪華，匯集了中國外30多位院士，還有諾獎、圖靈獎得主，清北港科大等知名高校的校長副校長。
百度、螞蟻、微軟、亞馬遜等世界領導科技企業，也都來參加會。
可以說，「人工智慧主題日」堪稱如今AI界的頂級盛會，亮點滿滿，精彩可期。
重磅技術成果發布
國產Sora，又上新了！
在今日的中關村論壇「人工智慧主題日」上，生數科技聯合清華大學，共同發布了最新的影片大模型「Vidu」。
Vidu生成的畫面一亮相，就讓全場驚呼──這個效果也太像Sora了！
在人物和場景時間一致性的保持上，Vidu的表現令人印象深刻。
而且，它生成的影片最長可達16秒左右，在時長上破了紀錄。
甫一亮相，Vidu就得到了業界公認——
綜合考慮時長、一致性、真實度、美觀性等因素，它是「國產Sora」模型中當之無愧的佼佼者，是中國最能和Sora全面對標的視頻模型。
清華大學人工智慧研究院副院長、生數科技首席科學家朱軍為我們放出了Vidu的以下示範。
一隻小狗在游泳池裡游泳，毛髮纖毫畢現，狗腳划水的動作十分自然，和水的互動十分符合物理原理。
人物眼睛的特寫、做陶罐的女人手中正在轉動的陶罐、一對坐著的男女同時抬頭的動作，都刻畫地細緻入微，逼真到彷彿現實。
總的來說，Vidu具有以下幾大特點——
模擬真實物理世界
森林裡的湖邊風光，無論是樹木、水面、雲朵，或是整體的光影效果，都很逼真寫實。
汽車行駛在崎嶇山路上的場景，也是非常經典的Sora演示。
Vidu模擬了非常真實的光影效果，連揚起的灰塵，都十分符合物理法則。
富有想像力
在這艘AI影片模型必考題中，Vidu生成的影片效果實在太驚艷！
畫室裡的一艘船駛向鏡頭的場景。
這題，考驗了模型虛構場景的能力，為了產生超現實主義的畫面，它們需要有超強的想像。
理解多鏡頭語言
可以看出，Vidu能夠理解多鏡頭的語言，不再是簡單的鏡頭拉。這樣，就能模擬我們的攝影流程。
生成的這個影片中，要求它包含海邊小屋、鏡頭過渡到陽台、俯瞰大海、帆船、雲朵等元素。
Vidu生成的視頻，具有複雜的動態鏡頭，遠、近、中景、特寫，以及長鏡頭、追焦等效果，都十分驚艷。
一鏡到底，16s時長
而在這個影片中，Vidu展現了16s的超長「一鏡到底」。
而且，影片完全是由單一大模型產生的，不需要任何插幀、剪切，直接就實現了端到端的生成。
超強時空一致性
要求它以《戴珍珠耳環的少女》為靈感，生成一隻藍眼睛的橘色貓，可以看出，Vidu生成了連貫的影片。
從旋轉的各個視角來看，都非常逼真，甚至讓人產生了「這是3D模型」的錯覺。
在它產生的影片中，人物和場景在時空中始終保持一致。
理解中國元素
相比國外的AI視訊模型，Vidu也更理解中國元素。
熊貓、龍這樣的中國元素，它都能理解和生成。
和Pika、Gen-2比起來，Vidu的表現也絲毫不弱。
一艘木頭玩具船在地毯上航行。
兩位對手的影片一個只有4s，一個更是畫面簡單的循環播放，而Vidu的影片以16s的自然畫面秒殺了它們，在一致性的保持和語義理解上，也都非常突出。
用和Sora同樣的prompt，Vidu的表現甚至更好。
Sora並未理解旋轉的鏡頭是什麼意思，而Vidu不僅表現出了旋轉，還保持了一致性的效果。
幾分鐘的影片結束，全場響起經久不息的掌聲。
之所以能在短時間內做出如此驚豔的視訊AI模型，離不開團隊的長期累積和多項原創成果。
團隊的技術路線，竟也和Sora的高度一致。
全球首個低碳、高效能多語言LLM
此外，全球首個低碳、高性能、低幻覺多語言大模型Tele-FLM，由北京智源人工智慧研究院與中國電信人工智慧研究院（TeleAI）在今天正式聯合發布－所有核心技術、權重、訓練過程中的各種細節全面開源。
520億參數的Tele-FLM在2T token的資料上，用時2個月完成訓練。
值得一提的是，根據Meta3官網訊息，Llama 3-70B模型的訓練，可能使用了近5萬塊H100。而Tele-FLM僅用了896×A800的算力，完成了訓練。
此外，模型訓練過程也對資料品質進行嚴格把控。
透過使用高品質的中文數據，雖然只佔30%，但Tele-FLM的中文能力明顯超越了對標的模型，取得了領先的成果。
未來，還將推出千億、六千億、甚至萬億參數版本，而且都將全部開源，供所有人使用。
順便提一句，會上最精彩的部分，莫過於機器人上台表演了。
看看來自宇樹科技的這隻機器狗，倒立行走，簡直太颯了。
除了頗有前沿範兒的技術成果發布，人工智慧主題日上，中國大佬的演講也是乾貨滿滿。
大佬演講精彩亮點
北大教授、中科院士鄂維南的演講，讓我們重新審視，大模型+大資料庫結合的價值所在。
如今，我們能夠暢想人工智慧的未來，那都是因為有一個最基本的工具──深度學習。
其實，深度學習很早就誕生了。
但真正將其帶向世界，釋放出重大威力的標誌性事件便是——2012年，Hinton和兩位學生訓練的大型深度神經網絡一舉贏得ImageNet大賽。
每個人都知道，若想進行機器學習研究，需要有三個最基本的工具：
一是模型工具，借助Pytorch、TensorFlow、MindSpore等工具，AI開發者才能寫出深度神經網路。
二是算力工具，當然非GPU莫屬，再結合CUDA這樣的架構，實現高效率的算力利用率。
三是數據工具。
現在，全世界包括OpenAI、Google等在內的公司，都希望獲得高品質的數據。同時，資料稀缺已然成為LLM訓練的一大難題。
也正是在數據這個領域，現在的發展還不是很成熟，缺乏可以利用的工具。
對於數據的處理，大家還是主要憑經驗，沒有一個完整的系統，去解決這個問題。
其中，「非結構化資料」處理，是機器學習方法的主要困難之一。
如果我們可以將文字、影片之類的數據，能夠將其放在一個表格當中，那將會大大降低ML門檻。
就在這個月初，國際上第一個AI「非結構化資料庫」MyScale正式宣布開源。
透過自研高效能和高資料密度的向量索引演算法，成為目前綜合效能最好，功能最強的AI資料庫。
LLM+大數據雙輪驅動
那麼，現在有瞭如上這些能力，接下來可以做什麼？
或者說，下一個技術路線是什麼？
當我們將所有資料放在「資料庫」中，基於此，就可以建立各種各樣的小模型，由此產生了「模型庫」。
最後，就可以透過作業系統對模型進行調度。
這樣的優勢在於，不僅可以將所有結構化數據，以及非結構化數據，放在同一個資料庫中，還能透過常見的SQL語言實現搜尋查詢。
此外，還可以很有效率地訓練出小樣本的資料模型。與訓大模型不同，訓練小模型，如何選取資料是非常困難的。
例如針對自動駕駛場景，無用樣本只會影響模型的效率和精確度問題。
有了AI資料庫，就可以快速取得對應的樣本數據，例如紅燈、左轉彎等。
由此一來，訓練後的自動駕駛模型，準確率可以提升50%-90%。
除此之外，模型管理平台，可以提供模型全周期的管理。
一個很典型的場景是──政府智慧城市管理，以前遇到的是資料孤島的難題，到現在的模型孤島。
每個企業都基於不同的模型做一個應用，所帶來的問題是，正度很難實現全面、方便快速的管理。
而雲端平台的出現，可以讓企業基於此做低門檻的開發，根據需求即可調用成千上萬的模型。
而現在，大模型誕生可以大大提升基礎AI能力，還有可以實現具體任務的Agent。
接下來，就可以在原來框架下稍作改動：
- 小模型改成Agent
- 模型生產平台以預訓練模型作為基座
另一方面，模型作業系統可以將模型和任務完成對接。
例如，把政府的需求整理好後，針對每個需求去做一個模型，結果就會產生很多模型。甚至一個需求，需要做不同的模型。
然而，針對複雜場景，模型作業系統卻很難將模型和任務完成對接。
鄂維南院士表示，「這恰恰是未來大模型能夠提供的真正的核心能力——一個能完全將模型和任務配對的作業系統」。
另外，大模型還可以和大資料庫結合。
例如，鄂維南院士預告的團隊成果——Science Navigator平台。
它是將所有理工科的文獻塞到一個資料庫裡，由此訓出的文獻大模型，具備了查詢文獻、提供論文寫作靈感等能力。
未來，也可設想將國家圖書館所有資料塞進資料庫中，讓模型釋放出更大的潛力。
總而言之，想要訓出優質大模型，建構一個高效率的資料處理的系統，是關鍵所在。
光電智能計算登上Nature
接下來，是中國工程院院士、中國人工智慧學會理事長戴瓊海對於光電智慧計算的介紹。
要說大模型再發展下去，面臨的最大危機是什麼？
大家都知道，答案無疑就是算力和電力的巨大缺口了。
如今，GPT系列的研究，已累積投入了超過30億美元。
AI模型的耗電，實在太猛了！
ChatGPT每天的能耗高達70萬美元，而在十年內，大模型計算將消耗中國每年發電量的5%到10%！
黃仁勳、Sam Altman、馬斯克等大佬，也都紛紛預言：下一波AI消耗的電力將遠遠超過預期，能源系統難以應付。超級AI，將成電力需求的無底洞！
如今的主流通用晶片就是GPU，此外還有延長線，即專用晶片，這些都是基於電子電路的發展。
而第三條路，就是新型的運算架構，例如量子運算、存算一體、光電計算。
能否從電子電路，改變成光的載體？ 1966年，「光纖之父」高錕打開了光通訊的大門。
不過有一個問題是：功耗下來了，但算力一直提不上去。
為此，中國在國際上第一個提出了一個，大規模可重構衍射計算處理器（DPU）。
在架構突破上，中國團隊首次提出了光-電-光融合可重構計算方法；在非線性突破上，首次提出了光電探測非線性活化函數。
光電之間的ADDA轉換，要花費龐大的功耗，這就是一個最重要的瓶頸。
在此基礎上，團隊提出了光電混合全模擬的智慧運算架構，研發了ACCEL晶片，突破了光電模數的轉換瓶頸，直接讓系統級能效提升了百萬倍！
這項研究去年已在Nature上發表，同樣屬於中關村創新成果。
如今，ACCEL晶片已經在許多任務級開展了工作，讓能耗大大下降。
比起英偉達A100，ACCEL晶片讓系統級算力提升了3個數量級，能源效率提升了6個數量級。
在國際上的整個光晶片領域，都處在最前線。
不過，真正的大模型訓練和推理，還是有一個關鍵的問題：深度網路做不了深，層數就非常有限。
於是，團隊又提出了一個新的架構──大規模智慧光運算晶片「太極」。
電子的深度網路架構可以做一百層、兩百層，但光卻做不了深，怎麼辦？
團隊的辦法是，化「深」為「廣」，其中有乾涉也有衍射，用乾涉來做廣，用衍射來做深，這就把以前的深度架構改成了拉伸的架構。
橫縱結合，是為太極。
兩種光性質結合在了一起，就建立了任務編碼宏觀拆分機制。具有「廣度」的光神經網絡，就能支撐複雜的智慧任務。
甚至能做100多層的深度網路。
而下圖中的藍色線條，即為繞射。干涉和繞射，就像樂高拼玩具一樣，拼在一起，就可以做大模型的光計算應用。
大規模的太極光計算晶片，完全可以支援現在的影像分類、多種音樂風格的生成。
在未來5G和智慧城市結合，將帶來龐大的瞬時資料通道，讓端側處理面臨嚴峻挑戰。
例如下面這個超大的視頻，如果由A100來跑，還需要8台到10台以上才可以。而光晶片只需要一台，就可以進行這方面的應用了。
因此，光電智能運算，可以支撐智慧城市、智慧安防等產業鏈。
未來， 團隊也計畫建造一個光算力實驗室，總之，太極晶片非常有望實現工業場景的應用。
海淀區優勢聚集
以上重磅成果，剛好都誕生在海淀。為什麼？
仔細分析可以知道，這種現像是一種必然。
人才+生態
在海淀，匯集了高密度的人才和生態土壤。
要說海淀區的AI人才濃度，說一聲全國TOP 1應該不算過分。
在這裡，匯聚了1.23萬人工智慧學者，和89位AI2000全球頂尖學者。
全國AI人才看北京，北京AI人才看海淀。
已經「出廠」的人才，密密麻麻地分佈在海淀的近千家企業。海淀的AI企業，直接佔全北京的2/3，全國的1/5。
還在校的人才，也緊鑼密鼓培養中。
全海淀的37所大學中，設立AI專業的大學，就高達21所。
人才、企業、算力基礎建設佈置，海淀是妥妥的一條龍佈局。
說一聲AI建設創新策源地和產業高地，海淀區是當之無愧。
從小學就開始了
AI人才從什麼時候開始培養？在海淀區，答案是小學生。
海淀區教育委員會，在海淀區的中小學內，正在建造「大模型+教育」場景。
為此智源研究院建構了一套基礎教育專屬知識庫，為小學的3個學科、中學的6個學科，提供了2000套試題。
在學校，孩子們不只人工老師，還有AI老師。
海淀區的小學生和中學生們，在課余時間可以隨時向AI老師提問。各種學段、各種學科，AI老師都能為孩子們提供一對一精講答疑。
綜觀全區，已經有36所學校的近3萬名學生，用上了AI產品。
作為全區AI教育的先鋒，中關村三小已經基於多種大模型平台，建構出本校的模型對接平台了！
在這個平台上，設定好了學校專用的「知識庫」，可以對接不同的模型引擎，分析知識庫內容，做對應的輸出。
目前，中關村三小的小學生們，已經擁有了自己的「小學資訊科技課標助手」「小學語文學科課標助手」「六年級下冊」專用模型了！
海淀名校北京一零一中學，也和北京大學前沿計算中心、騰訊公司合作建立了人工智慧AI實驗室。
在實踐的探索中，幾方共同建構了三級人工智慧實驗室課程體系，包括人工智慧校本課程、大中貫通課程、校企聯合課程。
另一名校十一學校，則直接組成了一支AGI應用研究計畫團隊。
在這裡，老師們會使用智譜清言和Kimi Chat等國產大模型，來加持自己的教學設計國產，文章、報告、教案的生成，都比以往快了不少倍。
高校雲集，精英匯聚
連中小學都已經用AI工俱全面「武裝」，那就更不用說，位於海淀的清華、北大、北航、人大、北大、北理工等響噹噹的全國頂級高校了。
強強聯合，會碰撞出怎樣的火花？
在大學層面，海淀區政府已經率先打通了多項深度合作。
和清華，海淀區簽訂了「共建人工智慧產業高地」戰略合作協議。
這項深入合作，將圍繞AI創新平台建置、核心技術攻關、科技成果轉化等多方面，共同整合雙方資源。
其次，海淀區與北航簽署了合作備忘錄，共建AI產業高地。
未來，雙方也會在促進科教融合發展、推動產業規模集聚、深化人才培育與交流、優化人文環境建構等方面，進行深入合作。
同時，海淀區也與人大簽署了共建人工智慧產業高地合作備忘錄，在人工智慧理論研究、技術協同攻關、高端智庫建設、人才培育等方面緊密對接，加速科研成果轉化落地，推動人工智慧健康發展，全力建置好中關村人工智慧產業集聚區。
最後，海淀區會持續與北郵、北大、北理工等大學，在核心技術攻關、人才交流培養、產業集聚發展、科技成果轉換等領域展開深入合作，加速形成新質生產力。
AI產業高地，已然在逐漸完成。
全國重點實驗室落地
同時，海淀區服務落地了多個人工智慧領域全國重點實驗室。
海淀區積極對接全國重點實驗室，並專注於建置清華大學網路體系架構室、北京大學微納電子裝置與整合技術等人工智慧領域相關全國重點實驗室，加強區域共建，推動優勢學科向縱深突破。
深度對接區內人工智慧領域全國重點實驗室，服務支援全重發展建設，推動優質科技成果落地海淀。
科技成果轉化平台
如何讓大學成果走向實驗室？如何讓AI技術更好地服務企業和社會？
為了打通科技成果轉化「最初一公里」，概念驗證中心如雨後春筍般破土而出。
而目前，已有的清華、中科院等5家概念驗證中心，已經踏出了成果轉換的「第一步」。
此外，海淀區也正在籌建AI領域概念驗證中心。
未來，將會有更多的科學研究成果在海淀區完成應用轉化，隨著產業聚集，這裡將出現一片別樣的創新生態。 (新智元)