在數字時代迅猛發展的背景下，我們的視覺體驗正在經歷一場革命。尤其是4K、8K和HDR視頻的普及，高質量的視頻處理技術越來越受到重視。在《互聯網巨頭都盯上了這顆芯片》一文中，我們談到谷歌、Meta、字節跳動和騰訊等互聯網公司都開始自研起了視頻處理芯片（VPU）。2023 年5 月，Meta發布了其第一款用於視頻轉碼的ASIC，被稱為元可擴展視頻處理器(MSVP)。而在傳統芯片巨頭英特爾和AMD也躬身入局之後，讓視頻處理芯片市場再次掀起了波瀾。

Meta第一款用於視頻轉碼的ASIC—MSVP

視頻處理芯片是專為處理、優化和傳輸視頻數據設計的。它們可以完成各種任務，包括但不限於解碼、編碼、渲染、縮放和後處理。早期的視頻處理芯片主要集中在硬件解碼，為DVD播放器和初代流媒體設備提供支持。現代視頻處理芯片開始集成AI功能，支持實時內容識別、視頻增強和智能編碼。

視頻市場前景廣闊，引起芯片巨頭的重視

2023年4月，AMD在發布了一款用於數據中心的新型專用媒體加速器和視頻編碼卡——Alveo MA35D。這是一款獨立的ASIC芯片，其核心是2個視頻處理單元(VPU，Video Processing Unit )，他們基於5nm工藝。所以其性能更加具有針對性，MA35D 是專為數據中心設計的純視頻編碼卡。具體而言，Alveo MA35D不僅可以為主流H.264 和H.265 編解碼器提供超低延遲支持，並具有下一代AV1轉碼器引擎，可節省高達52%的帶寬。而且最多可編碼32個1080p流。最大流分辨率從4K增加到8K。

無獨有偶，英特爾也瞄準了VPU這個東西。不過英特爾的VPU是Vision Processing Unit，並沒有特別強調是視頻處理。而且與AMD的做法不同，英特爾是將VPU集成到其14代酷睿Meteor lake處理器中，這也是英特爾的一貫做法，英特爾近年來正在不斷的將很多AI硬件功能集成到大的SoC中去。據digitaltrends的報導，其實早在英特爾的第13代Raptor Lake 處理器就開始小試牛刀，在少數型號上使用，但14代Meteor lake處理器可能是全面採用。

英特爾的Meteor Lake處理器是英特爾首款具有內置神經VPU的PC平台

AMD的VPU開發主要依託其收購的賽靈思，Alveo MA35D就是賽靈思的後繼產品。英特爾的VPU則源自其2017年9月份收購的Movidius的第三代視覺處理單元(VPU) 設計。據英特爾官方平台介紹，Movidius的VPU專為加速PC上的人工智能工作負載而設計，提高系統響應能力、效率和計算性能，這些都是協作和流媒體中新的高級功能所需的。

多年來，英特爾的CPU+軟件的視頻解碼/編碼方案一直主導著流媒體市場，但是隨著視頻流媒體對高質量視頻的需求不斷增長，CPU將不再具有經濟價值，而且會消耗太多的能耗和空間。此次，英特爾在酷睿中CPU+VPU硬件集成的方式，可以說是很大的一項變革。

另外，根據anandtech對於英特爾這個VPU目的的解讀，VPU的設計初衷是為為了在某些特定場景下提供一種更低功耗的AI處理選項：1）對於高性能需求，還是需要集成的GPU來處理，它有大量的算術邏輯單元（ALUs）可以為神經網絡背後的矩陣數學提供相對大量的處理能力。2）VPU作為一個專用但低功耗的AI加速器，定位在中間，適用於那些不需要GPU高性能（和其相應的功耗）的持續AI工作負載。3）而CPU仍然是選擇簡單、低延遲工作負載的處理器，這些工作負載不能等待VPU初始化，或者工作負載的大小不值得這樣做。英特爾預計基於人工智能的工作負載將改變PC用戶體驗。

可以看出，無論是AMD的獨立視頻流媒體加速器還是英特爾在酷睿中集成了VPU單元，都是對當今流媒體市場所需而做出的應對。

據Bluewave諮詢和研究2022年3月對全球視頻流媒體市場的分析，2021年該市場的價值為610億美元，到2028年將達到2130億美元，這期間的複合年增長率為20%。其中，70%的視頻市場是直播，其他30%是按需服務的市場。

在這個人人都可能成為主播的時代，下一代的直播場景則主要為多對多模式，屆時這些主播既是數據源也是接收器，這樣的場景也包括連線、直播購物、在線拍賣和社交流媒體等。這樣的應用場景也要求對數據的處理更加貼近用戶，要求把這樣的處理能力轉移到網絡的邊緣。所以視頻經濟也開始從雲來到邊緣，因為原來雲集中的方式已經不再具有經濟效益，所以，這就需要徹底改變基礎設施部署模式。

“雖然CPU和GPU仍將是這些設備的關鍵計算部件，但在一個算法不斷進步、新標準不斷湧現的世界裡，加速這些新興的和不斷變化的工作負載至關重要，我們預見到對自適應計算能力的需求將不斷增長。”AMD指出。

在視頻處理和圖形渲染領域，英偉達一直是領導者，其GeForce系列已經廣泛應用於消費級桌面和筆記本電腦中。AMD也已經有Radeon系列，英特爾的集成顯卡的方式也被廣泛應用於其桌面和移動處理器中。

在數據中心領域，AMD推出專用的流媒體加速器也是嗅到了視頻市場的需求。英特爾近年來開始進軍獨立顯卡市場，GPU Flex系列是英特爾打數據中心流媒體市場的一個有力武器，它在視頻編解碼和功耗上頗佔優勢。

這些芯片巨頭往往瞄準的是桌面、企業級以及數據中心等市場，在手機等終端市場中，則是另一番天地。

其實不僅是桌面和數據中心，以手機為代表的移動設備早已成為視頻及遊戲的主要載體，而且伴隨著短視頻平台的崛起，視頻開始逐漸具備內容和社交雙重屬性，因此手機也逐漸成為視頻的主要觀看載體之一。在這樣的大背景下，消費者對影音娛樂體驗需求不斷提升，推動手機視頻走向高清化、HDR化和高刷新化。

長久以來，在手機市場當中，除了蘋果、華為、三星這些手機廠商採用自研或子公司研發的芯片之外，大多數手機廠商都是採用高通、聯發科等第三方的手機SoC。這些SoC通常都自帶專門的視頻處理硬件，包括GPU和專門的視頻編解碼器。其中，高通使用其自研的Adreno GPU，蘋果有自己的自研GPU（早期的蘋果主要採用imagination的GPU），而聯發科、三星和華為中的某些版本則使用基於ARM的Mali GPU IP。

但近年來，我們看到手機廠商圍繞著視頻或影像質量的較量愈發激烈，尤其是在高端手機品牌中，影像成為各家手機廠商的獨特競爭力之一。移動影像的天花板正在不斷被拉高。而從芯片的供應角度來看，有了一些細微變化。

一方面，是像vivo和小米這樣的手機廠商早已以視頻芯片為自研切入點。vivo是v系列芯片，小米主要是澎湃C1。2023年7月30日，vivo發布了其自研的第三代影像芯片v3，採用6nm製程，能效也有了很大的提升。其多並發AI感知ISP架構和第二代FIT互聯繫統的結合，不僅降低功耗，提升了算法效果，還能做到V3芯片和SoC的無縫銜接。V3芯片也讓手機拍攝4K電影人像視頻成為可能，而且還支持4K級拍後編輯功能，這是安卓平台業內首次實現這一功能。對vivo自研芯片感興趣的讀者可以閱讀《vivo自研芯片，打的什麼算盤？》

另一方面，手機廠商對影像質量的追求，也使得第三方芯片供應商發展迅速。Pixelworks是一家具有20多年曆史的為視頻應用提供視覺顯示ASIC芯片的供應商，早在2004年，其便在中國設立了子公司逐點半導體。隨著手機這樣的移動設備對視覺體驗需求的增加，使得Pixelworks近幾年在移動設備領域大放異彩，甚至成為部分手機廠商的一大宣傳點。例如最近，一加Ace 2 Pro智能手機不僅採用了高通的第二代驍龍8移動平台，還搭載了逐點半導體的一顆X7專業渲染芯片，在遊戲幀率和畫質體驗上得到了很大的提升。此外，諾基亞、榮耀、vivo、oppo、紅米等諸多手機廠商以及不少國內游戲廠商均選擇了逐點半導體。隨著Pixelworks在手機和遊戲產業的影響力持續擴大，其近期開始推出IRX遊戲體驗品牌為配備其顯示芯片的設備提供認證。而從財務數據來看，過去三年，Pixelworks在移動設備部分的營收也有著顯著增長。

不過，移動端影像芯片獨立的第三方廠商還是少數。如上文所述，手機大廠往常的做法通常傾向於將影像處理功能集成到他們的SoC（系統級芯片）中，而不是使用外部的獨立影像處理芯片。但是，天下大勢，分久必合合久必分。隨著手機攝像技術的持續進步，用戶對於拍照效果的要求也在逐漸提高，在某些高端或專業需求（如增強現實、虛擬現實、3D掃描等）超出了主流SoC的處理能力，獨立的影像芯片會有其獨特的價值和位置。

不論是獨立的ASIC視頻芯片、專門的GPU，還是集成在大型SoC中的視頻處理芯片，視頻芯片市場正展現出多元化的發展趨勢。每種方案都有其特定的應用場景和優勢，滿足了不同設備和用途的需求。從家庭娛樂、在線流媒體到增強現實和虛擬現實，視頻處理技術在各個領域都起到了核心的作用。顯然，視頻芯片已經成為一個不容忽視的重要市場。（半導體行業觀察）

一個屬於VPU的時代似乎正在悄然而來。

過去幾年來，在需求的推動下，互聯網造晶片早已家喻戶曉。尤其是過去幾年雲計算、數據中心和人工智能的火熱，全球領先的互聯網企業似乎都殊途同歸，走向了AI晶片、CPU和DPU等晶片的自研道路。與此同時，他們還會根據各自業務的不同，針對性地打造了不同的晶片矩陣。

在我們還對互聯網造芯近年發展之快感到驚嘆之餘，諸如谷歌、Meta、字節跳動和騰訊等互聯網公司又都無一例外地盯上了一款晶片：那就是視頻處理晶片VPU（Video Processing Unit）。


谷歌、騰訊、字節和Facebook 均已著手自研

2021年4月，谷歌發布了自研的Argos VCU（VCU是谷歌的稱法）。Argos有10個用於處理視頻的內核，這些內核放置在一個相當大的散熱器下，每塊板上放置兩個晶片。谷歌聲稱它可以將計算效率提高20到33倍，以往處理4K視頻要幾天，現在只需數小時就行。Argos的研發成功替代了多達數千萬顆英特爾CPU，僅CPU就節省超過200億人民幣的資金投入規模。在構建這個晶片的過程中，谷歌甚至創造了他們自己的EDA工具，叫做Taffel。

我們正在進入一個音視頻蓬勃發展時代，表現為視頻用戶數激增、視頻產生量巨大，視頻越來越難以被壓縮和處理。從2003年發展至今，有許多不同的視頻標準和編解碼器（如下圖所示），如果編解碼器在壓縮視頻時的效率越高，那麼最終的文件尺寸更小，流更小。

谷歌的Argos晶片能助力其使用VP9的視頻編碼器，相比前一代H.264，其視頻壓縮效率提高了40%。VP9是一種更複雜的視頻編解碼器，它允許視頻文件變得更小並保持相同的圖片質量，它還可以存儲相同大小但質量更高的視頻。VP9允許Google節省大量帶寬，這些帶寬通過他們的內容交付網絡從數據中心流出給消費者，這反過來又大大降低了他們的成本。AV1是更高級別的視頻編碼方式，將比VP9再提高30%-40%。更高級別的壓縮通常需要更多的計算。

根據SemiAnalysis的消息來源，下一代Argos已經在開發中。它將能夠實現在CPU或GPU 上難以支持的AV1 格式，將實現進一步的存儲和帶寬節省。此外，他們還計劃開始在新晶片上添加機器學習推理硬件。最後，他們還將在附加卡本身上添加網絡，以提高效率並減少與主機CPU 的通信。這將允許他們自動生成視頻字幕，檢查是否違反服務條款，甚至允許在YouTube 和Google 照片上啟用視頻搜索。

今年6月份，騰訊雲發表了《騰訊的芯事》，從中我們了解到，騰訊自研的視頻轉碼晶片—— “滄海”，已於2022年3月5日流片回來，並點亮。這是騰訊的第三款晶片，也是完全自主研發的第一款晶片。騰訊的滄海小分隊的目標就是要做一款業界最強的視頻轉碼晶片，把壓縮率發揮到極致。滄海晶片採用12nm工藝，實現了以更小的數據量、更小的帶寬提供相同質量的視頻，壓縮率相比行業最佳表現提高了30%以上。

字節跳動造芯近來再次掀起一波關注高潮。據了解，字節跳動從三年前開始做視頻編解碼硬件研發，去年下半年開始組建SoC團隊，年初FPGA上線。7月20日，字節跳動副總裁楊震原在“2022火山引擎原動力大會”上接受媒體採訪時確認，字節跳動正在開展自研晶片，主要用於自身視頻推薦業務。研發團隊將為字節跳動大規模視頻推薦服務專用場景定制硬件優化，如視頻編解碼、雲端推理加速等，以期提升性能，降低成本。

除了字節以外，另一個中國視頻巨頭快手也在相關視頻晶片產品上有佈局。據了解，他們的相關晶片已經會片，或許應該能看到更多的信息披露。

此外，Facebook母公司Meta也正在尋求“控制關鍵技術並減少對現有晶片供應商的依賴”。據悉，其也正在開發定制服務器晶片，其中一款AI推理晶片主要用於推薦算法等；另一款則主要進行視頻轉碼任務，以提高Facebook用戶觀看錄製和直播視頻的質量。而且Facebook還聘請了一位來自英特爾的資深網絡晶片工程師Jon Dama來領導這家互聯網巨頭的基礎設施硬件工程組的晶片設計工作。


CPU和GPU不再經濟，VPU或將大放異彩

當下，隨著互聯網內容的不斷更新迭代，視頻流媒體已開始取代文字、圖片等形式，直播、點播、短視頻等視頻應用正在“侵蝕”每個年齡階段的人，視頻流媒體約攻占互聯網80%的流量，如國外的Youtube，國內的抖音、快手等短視頻。網絡已經在內容上走向去中心化的路線，用戶每分鐘向Youtube上傳超過700小時的YouTube視頻，抖音、快手以及騰訊微視頻等亦是如此。消費者更多的是將時間花在了用戶生成的內容上。

在這個過程中要做的工作越來越複雜，視頻的分辨率、質量和帶寬消耗等直接決定了用戶的粘性。抖音這幾年來是短視頻領域的贏家之一，很大一個原因在於其能對每個人進行定制化的推送，背後有著強大的推薦機制。用戶對超高清視頻（4K/8K）的追求越來越高，但也帶來了更高的編解碼算力需求和CDN帶寬成本。

多年來，英特爾的CPU+軟件的視頻解碼/編碼方案一直主導著流媒體市場，但是隨著視頻流媒體對高質量視頻的需求不斷增長，CPU將不再具有經濟價值，而且會消耗太多的能耗和空間。GPU雖然有稍微更好的TCO（總擁有成本），但缺點是較低的利用率和較低的工作負載靈活性。使用GPU對於某些應用程序來說，運行驅動程序棧是一件複雜而混亂的事情，各種版本的Linux或Windows都不能正常工作，這類軟件問題阻礙了英特爾、輝達等GPU方案的發展，比如英特爾被取消的Xe HP tile GPU架構。英特爾的Xe-HP計算GPU是該公司多年來啟動的第一款高性能獨立GPU，也是英特爾向公眾展示的第一款獨立Xe GPU。

顯然，CPU和GPU都已經不適合處理巨量的視頻業務，因此VPU這種專用的視頻處理晶片應運而生。在某種意義上，VPU比其他編碼方法更靈活。

VPU是結合AI技術專門面向視頻場景優化設計的視頻加速器，內置視頻編碼加速專用功能模塊，具有高性能、低功耗、低延時等特性，能為視頻行業應用帶來高效能的加速計算。

一般來說，ASIC需要在它們的目標工作負載中提供高一個數量級的更好的能力才能被行業認可。而據SemiAnalysis對國產VPU晶片初創企業鎔銘微電子（NETINT）的分析，相比於CPU和GPU，VPU的密度和功耗是CPU和GPU無法比擬的。下圖是使用HEVC編解碼器，鎔銘微電子的VPU碾壓輝達的上一代T4（有更新的基於安培GPU)和英特爾的Skylake/Cascade Lake服務器。其設計的Codensity系列VPU晶片已經在中國超過90%的一線互聯網和視頻內容客戶中得到大規模部署，並在大量海外客戶如微軟、IBM等企業中得到了廣泛應用，他們還面向全球推出世界第一款支持AV1編碼能力的晶片級解決方案。

另外，據相關報導，一家名為湧現科技的公司在這方面也有佈局。該公司表示提供的Seirios視頻編解碼加速解決方案，核心的ASIC視頻編解碼晶片是由湧現科技研發團隊自主研發的先進製程晶片，通過將其安裝在執行編碼和轉碼的視頻處理服務器上，可以在不改變服務器配置的情況下提升處理性能。減輕數據中心服務器的多媒體處理負擔，降低整體功耗和成本。

從谷歌自研VPU所獲得的好處，我們也可以看出為何互聯網廠商紛紛發力VPU這顆晶片：一方面，互聯網是最講求TCO（總擁有成本）的地方，使用VPU將大大減少對CPU的使用量；另一方面，能夠根據自己的需求，打造更低的功耗和更快的晶片，這也將加強他們的戰略優勢。還有一個有利條件是，他們這些互聯網廠商都有自己的視頻產品，豐富的多媒體應用場景，以及雲覆蓋的眾多直播互動頭部客戶，將為他們的研發提供得天獨厚的分析和驗證條件。再者，互聯網巨頭對這個賽道的看好，足以見得VPU這個市場的廣闊前景。

由於VPU晶片是一個對場景處理技術要求很高的產品，所以目前主攻ASIC VPU的晶片供應商中似乎並不多。整體而言，目前只有少數幾家廠商真正做到了大規模實際應用，互聯網廠商自研的產品到真正可落地實際應用還有2-3年的時間。

中國的各類視頻應用已然走在時代前列，同時還有龐大的用戶群體，不止如此，VPU的市場應用場景非常多，隨著5G、移動端視頻、雲遊戲、雲桌面、VR/AR、元宇宙等行業的高速擴張，市場對專用視頻處理晶片的需求呈現爆發式增長，專用於視頻處理的ASIC晶片或將迎來長周期的藍海市場。

有研究分析，預計在未來幾年內，VPU市場規模可能將達千億美金。從CPU到GPU，再到DPU，而現在一個屬於VPU的時代似乎正在悄然而來，目測未來這個市場應該會投入更多玩家。（半導體行業觀察）

#VPU 你可以在這裡找到鉅亨號中所有使用「VPU」為關鍵字所發布的內容