#視頻
字節新視訊模型發佈!時空理解力斷崖領先,碾壓Gemini3 Pro,GPT-5!
大模型的另一條主脈絡又開始發力了。AI 視訊模型,現在已經進化到不僅可以看“OCR”畫面,甚至都開始“會剪片、懂劇情、還能當導演了”!昨天晚上,一個叫 Vidi2 的視訊大模型,把“AI 剪輯”的上限,直接抬到了一個很多內容創作者都還沒意識到的新高度。做短影片、影視剪輯、劇情二創、內容工業化的朋友,必須看過來。比如,你打開一段視訊,只需要輸入一句話:“XX 角色從跪姿站起來。”下一秒,AI 就可以在一段光線昏暗、人物複雜的畫面中:精準定位動作發生的時間段在關鍵幀上,用邊界框精準圈出目標人物清楚地區分“誰在動、誰只是背景”這就是今天小編注意到的一款視訊模型:字節跳動最新發佈的——視訊理解大模型 Vidi2 的真實能力。可以看出,視訊AI圈已經開啟了2.0角逐的賽點:以前卷“會生成”,現在開始卷視訊的“理解”能力了。字節背書,來看看Vidi2有何不同?Vidi2 是字節跳動推出的第二代多模態視訊理解與生成大模型。(言外之意,主打視訊理解和創作。)它不是“只會生成畫面”的視訊模型,而是一個能同時理解:畫面、聲音、語言、時間結構、人物關係、動作因果的統一視訊理解系統。再來從技術規格看,它的參數規模只有 12B,其中主幹網路採用 Gemma-3,輸入模態支援:文字 + 視訊 + 音訊。而專註解決的核心任務都是面向真實場景的複雜問題:長視訊理解 + 細粒度時空定位 + 時間檢索 + 視訊問答。之前大家的槽點更多的還是:“這個畫面像不像”,而Vidu2試圖去回答一個更本質、更高級的問題:視訊裡,什麼時候發生了什麼事,是誰幹的,前因後果是什麼?它究竟能做到那些事?話不多說,我們直接從應用層來來看,用這個新模型,我們具備了那些新能力。(1)自動剪“高光片段”,還知道怎麼起標題。你丟給它一個 1 小時的視訊,它可以:自動找出最有資訊密度、最有情緒張力的片段直接生成對應的短影片同時給你配好標題不得不說,這項能力已經越過“輔助剪輯”那條線,而是已經可以接管平時我們大量的基礎剪輯工作。(2)而且,它還可以“看得懂人物和劇情因果”。比如,它能理解這種複雜關係:A 想打 B,結果打偏了,誤傷了 C。人類聽起來這像小兒科的問題,但這件事對 AI 來說極難。這意味著它已經同時具備:人物識別、動作理解、空間位置判斷、事件因果推理。這也是它能做劇情剪輯、人物線索剪輯、衝突線剪輯的前提。(3)它能“一邊看視訊,一邊精準框選目標”。給它一句話:“那個穿紅衣服、在爭吵中突然站起來的人”它可以同時輸出:這一幕發生在 第幾分第幾秒那個人在畫面中的 精準框選位置這意味著什麼?意味著它可以做:自動多機位切換智能構圖裁剪人物跟隨取景直播切畫面的自動導播剪輯、導演、攝像,這幾條線,第一次開始被同一個 AI 能力同時覆蓋。基準測試性能超過GPT-5、Gemini 3 Pro為衡量模型在真實複雜場景中的進展,Vidi2 專門建構了兩個面向實際應用中““長視訊 + 時空理解””的核心基準:VUE-STG(用於長時間跨度下的精細時空定位)與 VUE-TR-V2(用於開放式時間檢索)。團隊直接將 Vidi2 與行業頂流過招,包括:Gemini 3 Pro、GPT-5。結果是:Vidi2 在核心視訊理解與時空定位任務上,性能是“斷崖領先”的。在 STG 任務上,Vidi2 取得了當前最優表現,vIoU 達到 32.57,tIoU 達到 53.19。而 Gemini 3 Pro在前者只得到了 5.5 分,而 GPT.5 的視訊理解能力在 tIoU 的跑分只有 Vidi2 的一半 27.5。這是少有的,在視訊理解這個高難度賽道上,正面贏過通用大模型的案例。其次,在檢索任務方面,其整體 IoU 達到 48.75,即便在 超長視訊(>1 小時) 場景下,依然 領先主流商業模型 17.5 個百分點。此外,在視訊問答任務上,儘管 Vidi2 的主要最佳化方向集中於定位與檢索能力,但其綜合理解能力依然保持強勢:在 VideoMME 基準上取得 63.5 分,在 Long VideoBench 上取得 54.7 分,展現出紮實的多模態推理能力。模型已整合到字節產品基於 Vidi2 的核心能力,字節跳動已經建構出一套可規模化落地的實用工具體系。統一的“定位 + 檢索”技術管道,已經能夠穩定支援多項自動化視訊編輯能力,包括:高光片段提取具備故事理解的智能剪輯內容感知的智能構圖重裁自動多視角切換更重要的是,這一整套能力,已經可以在消費級硬體上穩定運行。目前,相關技術已經被直接應用到實際產品中:TikTok 的 Smart Split 功能,已經能夠實現 自動剪輯、智能構圖重裁、自動加入字幕,並將長視訊一鍵轉化為適合 TikTok 傳播的短影片片段。另一款工具 AI Outline,則面向內容創作者,支援將簡單提示詞或熱門話題,自動轉化為結構化的標題、開頭與內容大綱,選題 → 起稿 → 結構化,開始變成一條自動化流水線,顯著降低創作門檻。一位老外看到後,非常興奮:正“這看起來太厲害了,我真心希望有一天我們可以通過提示詞就實現帶自訂格式的自動視訊剪輯,那將徹底改變一切。”寫在最後最後有兩點覺得我們需要注意的。首先,視訊創作的工作流已經發生了全鏈路的變化。如果我們對比過去,視訊創作是:人找素材 → 人看完 → 人選片 → 人剪 → 人調構圖 → 人加字幕可隨著AI視訊工具的能力愈發完善,現在正在變成:AI 看 → AI 選 → AI 剪 → AI 構圖 → 人做判斷和風格這意味著業界原來的許多層面的門檻已經抹平了。越接近執行的剪輯、素材製作已經不再是高門檻,而判斷、敘事、風格、審美,開始變成唯一不可替代的東西。其次,視訊 AI 的競爭,已經悄悄“換賽道”了。從Google的 Veo,到生數科技的 Vidu,再到字節的 Vidi2,整個行業的重心正在發生轉移,正如開頭所提到的。很明顯,上半場,AI圈拼的是,誰能生成更逼真的畫面;而下半場,大家已經在推向新的敘事:誰能更精準地理解故事、控制結構、定位細節。而字節 Vidi2 的發佈,再一次將“理解與控制”拉到視訊 AI 的又一個高度。Github地址:https://github.com/bytedance/vidihttps://bytedance.github.io/vidi-website/ (51CTO技術堆疊)
轉機來了,中歐聯手!
在川普對全球挑起關稅戰之際,據中國商務部10日消息,中國商務部部長王文濤8日下午與歐盟委員會貿易和經濟安全委員謝夫喬維奇舉行視頻會談。雙方圍繞加強中歐經貿合作、應對美加徵所謂「對等關稅」等問題深入坦誠交換意見。中歐雙方同意盡快啟動磋商,深入討論市場准入相關問題,為企業創造更有利的營商環境,並立即開展電動汽車價格承諾談判,以及討論中歐汽車產業投資合作問題。雙方支持重啟中歐貿易救濟對話機制,討論貿易轉移問題,妥處貿易摩擦。中歐雙方同意立即開展電動汽車價格承諾談判。圖為比亞迪西安工廠。資料圖片王文濤在與謝夫喬維奇視頻會談時指出,美國所謂「對等關稅」嚴重侵犯各國正當利益,嚴重違反世貿組織規則,嚴重損害以規則為基礎的多邊貿易體制,嚴重衝擊全球經濟秩序穩定,是典型的單邊主義、保護主義和經濟霸凌行徑。中方對此堅決反對,已採取反制措施堅定維護自身權益。深化中歐貿易、投資和產業合作「美方威脅對中國徵收額外50%關稅,是錯上加錯。貿易戰沒有贏家,保護主義沒有出路。中方願通過磋商談判解決分歧,但如果美方一意孤行,中方必將奉陪到底。」王文濤特別強調,在當前形勢下,中歐共同維護以規則為基礎的多邊貿易體制,堅持貿易自由化便利化,將為世界經濟和全球貿易注入更多穩定性、確定性。中方願與歐方相向而行,共同落實好中歐領導人達成的重要共識,加強溝通交流,深化中歐貿易、投資和產業合作。謝夫喬維奇在視頻會談中表示,美國加徵關稅嚴重衝擊國際貿易,對歐中及弱勢國家造成嚴重影響。美國僅佔全球貨物貿易的13%,歐方願與包括中國在內的其他世貿組織成員一道,共同保障全球貿易正常運行。歐方重視歐中經貿關係,願與中方加強對話溝通,推動擴大雙向市場准入、投資和產業合作。歐盟去年宣布對中國製造的電動汽車徵收最高35.3%反補貼稅。圖為比亞迪大量電動汽車經小漠港出口海外。資料圖片去年10月底,歐盟宣布在現有10%的稅收基礎上,對中國製造的電動汽車徵收最高35.3%反補貼稅至少五年。此次視頻會談中,中歐同意立即開展電動汽車價格承諾談判,以及討論中歐汽車產業投資合作問題。專家:中歐互動成全球貿易關鍵業內專家項立剛對香港文匯報表示,在川普此次加徵關稅前,歐洲看待中國汽車崛起的立場與美國相近,因此採取抑制措施,而當前美國對中歐都加徵高關稅,導致全球貿易環境惡化,正是中歐重新審視彼此關係、構建新型合作關係的契機。上述商務部與歐盟的會談,釋放出共建公平市場機制的信號,有望在汽車關稅談判方面破冰。中歐在此次會談中還提到,支持重啟中歐貿易救濟對話機制,討論貿易轉移問題,妥處貿易摩擦。雙方還表示,將繼續在世貿組織框架下加強溝通,共同推進世貿組織改革,維護以世貿組織為核心的多邊貿易體制。郭寒冰認為,在中美貿易戰導致全球貿易秩序出現波動的背景下,中歐的互動變得尤為關鍵。資料圖片中國社科院金融研究所博士後郭寒冰對接下來的中歐貿易談判前景十分看好。在中美貿易戰導致全球貿易秩序出現波動的背景下,中歐的互動變得尤為關鍵。他指出,歐盟在高端製造、環保技術等領域擁有先進技術和管理經驗,中國龐大的消費市場和完善的產業配套能力,能夠為歐盟企業提供廣闊的發展空間;而中國企業也能借助投資協定,更深入地學習歐盟的先進技術和管理模式,實現互利共贏。中方與東盟商討應對美國關稅霸凌據商務部網站10日消息,中國商務部部長王文濤於9日與東盟輪值主席國馬來西亞貿工部長扎夫魯舉行視頻會談,圍繞加強中馬及中國—東盟以及共同應對美國加徵所謂「對等關稅」等問題交換意見。王文濤表示,美方所謂「對等關稅」罔顧多年來多邊貿易談判達成的利益平衡結果,也無視美方長期從國際貿易中大量獲利的事實,嚴重損害包括中國和東盟國家在內的各方正當合法權益,是典型的單邊霸凌做法。美方做法既損害美國自身利益,也危及全球經濟發展和產業鏈供應鏈穩定,嚴重破壞國際貿易體系。對此,中方堅決反對,已採取果斷措施予以反制,如果美方一意孤行,中方必將奉陪到底。王文濤表示,中方願與包括東盟在內的貿易夥伴一道,加強溝通協調,在相互尊重的基礎上,通過平等對話磋商解決各自關切,共同維護多邊貿易體制。扎夫魯表示,馬來西亞貿工部已發表聲明,認為美國政府有關政策不符合世界貿易組織所規定的自由公平貿易原則。馬方充分尊重中方立場,願共同支持多邊主義和全球貿易發展,將與東盟各國就美國「對等關稅」系列措施展開磋商、共同應對。中國連續16年保持東盟第一大貿易夥伴地位,東盟亦連續5年是中國第一大貿易夥伴。對美加徵84%關稅落地 自貿區保稅政策不變據新華社報導,海關總署公告顯示,根據國務院關稅稅則委員會相關公告,自2025年4月10日12時01分起,對原產於美國的所有進口商品,在現行適用關稅稅率基礎上加徵84%關稅;2025年4月10日12時01分之前,貨物已從啟運地啟運,並於2025年4月10日12時01分至2025年5月13日24時進口的(以下稱「在途貨物」),不加徵本次加徵的關稅。另外,商務部新聞發言人何咏前10日應詢時表示,自貿試驗區內有關特殊監管區域現行保稅政策維持不變。圖為位於山東自貿試驗區青島片區的山東港口青島港全自動化碼頭集裝箱堆場。新華社資料圖片海關總署公告顯示,對2025年4月10日12時01分起申報進口原產於美國的所有貨物,在現行徵稅方式、適用關稅稅率(現行適用的最惠國稅率或暫定稅率與已實施的加徵關稅稅率之和)基礎上加徵本次加徵的關稅。對「在途貨物」,進口企業可申請不加徵本次加徵的關稅。在商務部當天召開的例行新聞發布會上,有記者提問「來自美國的產品通過自由貿易試驗區進入中國市場,是否能不受今年新增關稅的影響?」何咏前說,自貿試驗區內有關特殊監管區域現行保稅政策維持不變。根據相關規定,商品離開有關特殊監管區域進入國內市場內銷時,需補繳相應稅款。何咏前表示,自貿試驗區是中國政府自主設立的改革開放綜合試驗平台。設立以來,自貿試驗區始終堅持以制度創新為核心,以高水平開放為引領,推出了一大批基礎性、開創性改革開放舉措,率先營造市場化、法治化、國際化一流營商環境,為全面深化改革和擴大開放探索路徑、積累經驗。 (香港文匯報)