字節跳動“大禹”伺服器架構及液冷架構

01.字節大禹架構設計理念

字節跳動的伺服器設計理念，總結起來可以分為四條。

第一，從業務需求出發。由於過去幾年業務快速增長，字節跳動在全球建設了大量的資料中心和伺服器叢集。因此擁有豐富的資料中心叢集建設經驗。因此，字節跳動會基於業務的最佳化，從場景出發來進行最合適的伺服器設計，不是一定追求先進的技術，但一定是和業務的需求緊密的結合在一起。在此基礎上再考慮更好地支援多樣性算力，以及對未來跨代的演進提出想法，確保在演進的過程中最大化基礎設施的投資收益；

第二，沿綠色低碳方向。字節跳動始終是致力於建設一個比較低碳的綠色資料中心，已經部署了幾十萬台液冷伺服器，後續還會加大液冷伺服器部署的力度，佔比在未來還會持續上升。

第三，推進極速交付。字節跳動在伺服器交付的過程中發現，更快交付以快速滿足業務需求這個非常重要。因此，字節跳動那個一直在推進L11、L12等級的整機櫃模式的交付方式，以快速的縮短交付周期、提升交付質量，實現全球範圍規模化部署。

第四，促進開放協同。在行業生態方面，字節跳動會更加積極、開放的形成統一的解決方案。在這個基礎上，實現開放系統的彈性擴展，滿足業務增長的需求，快速地使能各種各樣的應用。

02.AI液冷整機櫃架構分享

一是算力解耦，彈性擴展。我們的整機櫃在U位的設計上，與其他公司的略有不同。在計算區有24個U位，支援機頭通過機頭+BOX的配置組合，實現資源的靈活配比。

二是多樣性算力相容，支援國內外主流GPU/NPU，U位功能可擴展。

三是擴展性強。在AI基礎設施中，Scale-up非常重要，我們在機櫃中保留了一定的擴展性。典型情況下會用到8台或者4台交換機，如果需要更多交換機，也能夠向上或者向下擴展靈活的組合。

四是機櫃預留擴展性大。機櫃的深度上為1.4米，保證在供電、製冷方面有充分的空間。

當前整機櫃典型的配置功耗在100千瓦，下一代升級之後，會有200-240千瓦的供電需求。通過PowerShelf的數量和PowerShelf PSO功率模組等比較容易升級替換。

在尺寸方面，我們的整機櫃借鑑了行業典型的2286毫米的高度，U位設計為通用的48毫米。在位置設計方面，也儘可能跟行業內很多設計保持了一致，方便GPU的靈活擴展，能夠支援單機櫃64卡或者128卡，也可以通過兩櫃背靠背的方式一直到256卡的規模，擴展性能夠滿足當前以及未來2-3年的業務需求。

在模組化方面，無論是Cable Tray、Busbar還是Manifold，我們都進行了模組化的設計，支援各種獨立演進和跨代演進。

字節跳動的通用計算液冷整機櫃借鑑了AI液冷整機櫃的架構，它的高度、深度、外緣尺寸等都跟AI液冷整機櫃保持了一致，確保在資料中心的部署時能夠統一。

03.通用計算液冷整機櫃架構分享

通用計算液冷整機櫃採用了24個U位做計算節點，每個U位可以放兩個邏輯節點，因此整個機櫃可以提供48個通用處理器節點，相比傳統的風冷機櫃能夠實現4倍以上密度提升。

通用計算液冷整機櫃的很大一部分收益來自於密度和網路。傳統的風冷多機櫃方式，網路連接埠利用率在70-80%，而液冷整機櫃的方式，能夠把利用率提升到95%以上，能夠節約大量的網路成本。

此外，字節還預留10U的空間，去支援儲存伺服器，來支援業務存算混合部署場景，以提高叢集的性能。這裡預留的空間可以方便地部署兩台或者三台HDD儲存伺服器，也可以部署NVMe的SSD儲存伺服器。當然，機櫃下方的空間也可以保留支援CDU。

在整機櫃的後部，字節採用了跟AI整機櫃同樣的設計理念，實現了Manifold和Busbar模組化的設計,功率等級略低於AI整機櫃，單機櫃按照66千瓦規劃。

04.整機櫃的極速交付 便捷維運

除了以上提及的整機櫃設計理念，字節跳動在交付部分也進行了較多的嘗試，在全球多地實現了L11級整機櫃模式的交付實踐。

字節認為，首先在規劃方面，需要資料中心和伺服器進行較好的協同，包括單機櫃的功率等級、散熱、網路架構等。

通用計算的很多設計是只給CPU做液冷，這部分風液比大概在50-60%，而AI的機櫃通常AI算力的液冷已經可以佔到80-90%。

其次，要實現伺服器的標準化，這一點非常關鍵。不管是機櫃、供電、快接規格、機櫃管理方法等，都需要在較長的時間內保持延續性，避免部署的過程中跨代的變更但來的成本；

在預整合的管理。在工廠端的預整合包括了各個部件的整合，整機櫃的測試等；

另外，上線的自動化部署、整機櫃質量的測試等，都是比較重要的能力。

通過一系列的工作，我們實現了交付周期的大規模縮短，從平均兩個月到了一個月，收益非常大。同時，伺服器的故障率也得到了明顯的改善，隨著AI機櫃和通用機櫃的持續規模化部署，我們相信未來在全球整機櫃的交付模式會持續推進。

05.伺服器整機櫃規模部署挑戰和展望

字節認為，當前在整機櫃的部署中，既有挑戰，也面臨著很大的機會，應該著重在如下三個方面發力：

第一，規劃協同。這需要資料中心、伺服器和網路等各個方向上共同做好規劃，比如說在未來三年的規劃應該今早做好協同。在此基礎上，需要伺服器架構設計有更多的開放和彈性。在業務發生變化和資料中心建設發生變化時，伺服器端能夠很容易的調整和適配。

第二，業務最佳化。業務的需求在持續不斷的變化，在伺服器的準備上一定要契合業務的需求變化快速靈活的做好響應，這樣才能夠提升業務的效率、質量和維運的體驗。

第三，規範保駕。這就需要大家一起努力，在全行業推進整機櫃規範的建設，通過規範的建設做好行業經驗的共享，較好的使能各種算力，保障整機櫃伺服器在資料中心大規模的可靠、穩定、快速的應用。

整體而言，字節跳動希望跟大家一起，共建共享行業生態，從CPU、GPU的算力，液冷、供電、機櫃等部件的生態，跟大家共同推進整個智算、通算生態的發展。 (零氪1+1)