7月28日消息，Meta近期發佈了目前全球最強的開源大模型LLAMA 3.1 405B，引發了業界的關注。近日，Meta發佈了關於LLAMA 3.1 405B的研究文章，詳細介紹了其在 16,384 個 輝達（NVIDIA）H100 80GB GPU 的叢集上訓練Llama 3.1 405B 模型所遇到的問題。

據介紹，LLAMA 3.1 405B在16,384 個 H100 80GB GPU 的叢集上持續訓練了54天，在此期間遇到了 419 個意外的元件故障，平均每三個小時就發生一次故障。其中一半的故障，都是由於GPU 或其板載 HBM3 記憶體問題。

超級電腦是極其複雜的裝置，使用數以萬計的處理器、數十萬個其他晶片和數百英里的電纜連接在一起。在一台複雜的超級電腦中，每隔幾個小時就會發生故障，這是正常的，開發人員的主要技巧是儘量確保系統保持正常運行，無論這種局部故障如何。

比如高達16,384個H100 GPU 訓練的規模和同步性質使其容易失敗。如果故障未得到正確緩解，單個 GPU 故障可能會中斷整個訓練作業，從而需要重啟。然而，LLAMA 3 團隊保持了超過90%的有效訓練時間。

總結來說，在為期 54 天的訓練中，有 466 次工作中斷，其中 47 次是計畫性的，419 次是意外的。計畫內中斷是由於自動化維護造成的，而意外的中斷主要源於硬體問題。其中，GPU 問題是最大的一類，佔意外中斷的 58.7%。只有三起中斷事件需要大量的人工干預，其餘的則由自動化管理。

在 419 次意外中斷中，148 次 （30.1%） 是由各種 GPU 故障（包括 NVLink 故障）引起的，而 72 次 （17.2%） 是由 HBM3 記憶體故障引起的，這並不奇怪，因為 Nvidia 的 H100 GPU 消耗約 700W 並承受大量熱應力。有趣的是，在 54 天內只有兩個 CPU 出現故障。

雖然 GPU 是最重要的元件，但恰好也很脆弱，但 41.3% 的意外中斷是由多種因素引起的，包括軟體錯誤、網路電纜和網路介面卡。

為了提高效率，Meta 的團隊減少了作業啟動和檢查點時間，並開發了專有的診斷工具。PyTorch 的 NCCL 飛行記錄器被廣泛用於快速診斷和解決掛起和性能問題，尤其是與 NCCLX 相關的問題。該工具可捕獲集體中繼資料和堆疊跟蹤，有助於快速解決問題。 (芯智訊)