在本綜述論文中，研究者解釋了不同技術的工作原理、評估和比較，還分析了一些實現(xiàn)這些技術的框架。

現(xiàn)代深度學習和人工智能技術的發(fā)展涉及使用深度神經網絡（DNN）來解決圖像、視頻、音頻、自然語言處理、圖像形式的內容生成等各種問題，或生成給定格式主題的文本等任務。
俄羅斯斯科爾科沃科學技術研究所、法國里爾大學、波爾多大學、Inria 等科研機構聯(lián)合發(fā)表了一篇論文《Survey on Large Scale Neural Network Training》，它試圖解決的問題是：若給定模型和計算平臺的情形下，如何訓練才是最有效率的。為了使訓練高效，其必須可行，最大程度地利用資源的計算能力，在并行情況下，它不能讓信息傳輸成為瓶頸。訓練的效率從根本上取決于計算內核在計算資源（CPU、TPU、GPU）上的有效實現(xiàn)以及 GPU 之間和不同內存之間通信的有效實現(xiàn)。

論文鏈接：https://arxiv.org/abs/2202.10435
在這兩種情況下，人們?yōu)閮?yōu)化計算內核的算術強度，及有效實現(xiàn)硬件網絡上的通信做了很多工作。對于使用者來說，已存在強大的分析工具來識別硬件瓶頸，并可用于判定本調查中描述哪些策略可用于解決算術強度、內存和控制交換數(shù)據(jù)量的問題。
該綜述研究涵蓋了應對這些限制的通用技術。如果由于模型、優(yōu)化器狀態(tài)和激活不適合內存而無法先驗執(zhí)行計算，則可以使用內存交換計算（重新實現(xiàn)）或數(shù)據(jù)轉移（激活和權重卸載）。我們還可以通過近似優(yōu)化器狀態(tài)和梯度（壓縮、修剪、量化）來壓縮內存使用。
并行方法（數(shù)據(jù)并行、模型并行、流水線模型并行）也可以將內存需求分布到多個算力資源上。如果計算的算力強度不足以充分利用 GPU 和 TPU，一般是因為 mini-batch 太小，那么上述技術也可以增加 mini-batch 的大小。最后，如果使用數(shù)據(jù)并行引起的通信開銷昂貴到拖累計算速度，則可以使用其他形式的并行（模型并行、流水線模型并行），梯度壓縮也可以限制數(shù)據(jù)交換的數(shù)量。
在本次調查中，研究者解釋了這些不同技術是如何工作的，其中描述了評估和比較所提出方法的文獻，還分析了一些實施這些技術的框架。
下表 1為文章討論的不同技術及其對通信、內存和計算效率的影響。

研究者根據(jù)目的區(qū)分了以下方法：首先討論減少 GPU 內存使用，隨后考慮對不適合 GPU 的模型使用并行訓練，最后討論為訓練存儲在多個設備上的模型而開發(fā)的優(yōu)化器的設計。
單 GPU 情況下減少內存使用
在前向傳播期間，神經網絡存儲執(zhí)行反向傳播所需的激活。在某些情況下，這些激活會消耗大量內存，讓模型無法訓練。減少內存使用的主要方法有兩種：重新實現(xiàn)（也稱為 checkpointing）和卸載。
激活的重新實現(xiàn)
重新實現(xiàn)的策略僅在前向傳播期間存儲一小部分激活，并在反向傳播期間重新計算其余部分。重新實現(xiàn)方法可以通過它們處理的計算圖來區(qū)分。第一組來自自動微分（AD），它們?yōu)橥瑯嬳樞蚓W絡（多層按順序執(zhí)行并具有相同計算和內存成本的 DNN）找到最佳調度。第二組專注于過渡模型，例如異構序列網絡（可以是由任意復雜模塊組成的任何序列神經網絡，如 CNN、ResNet、一些 transformer），它將解決方案從 AD 調整為異構設置。
一些方法可以對一般計算圖執(zhí)行重新實現(xiàn)，盡管確切的計算成本可能指數(shù)級上升，如下表 2 所示。

激活卸載
卸載（又被稱為內存交換）是一種通過在前向傳遞期間將激活轉移到 CPU 內存并將它們預取回 GPU 內存，以進行相應的向后計算來節(jié)省 GPU 內存的技術。
由于 CPU 和 GPU 之間 PCI 總線的帶寬有限，必須優(yōu)化選擇傳輸激活，以及何時傳輸?shù)倪x擇。
在 vDNN [Rhu et al., 2016] 研究中，作者通過僅卸載卷積層的輸入來遵循對 CNN 有效的啟發(fā)式方法，然而它不能很好地推廣到一般 DNN 上。另有研究 [Le et al., 2018] 考慮了激活生命周期來選擇卸載的內容，并使用圖搜索方法來識別插入卸載 / 預取操作的時刻。AutoSwap [Zhang et al., 2019] 通過為每個變量分配優(yōu)先級分數(shù)來決定卸載哪些激活。
權重卸載
前面提到的很多方法也適用于卸載權重，這是因為卸載權重依賴于適用于任何張量的通用技術，比如 TFLMS、AutoSwap 或者 SwapAdvisor。
不適合單個 GPU 的模型的并行性
在模型并行化中，只需要傳達激活信息，并且傳輸只發(fā)生在分配給不同處理器的連續(xù)層之間。本章節(jié)提到的工作如下表 4 所示。

如果多個小批量被 pipeline 化 ，則可以加快模型并行化中的執(zhí)行速度，從而同時激活了多個訓練迭代，具體可見 [Huang et al., 2019]。一旦在所有這些小批量上計算了前向和后向階段，權重就會更新。這種方法實現(xiàn)起來相當簡單，但也導致計算資源大部分處于空置狀態(tài)。[Narayanan et al., 2019] 中提出的 PipeDream 方法僅強制前向和后向任務針對給定的小批量使用相同的模型權重，改進了這一訓練過程。
減少執(zhí)行更新的頻率也已被證明有助于限制權重過期（Narayanan et al., 2021a）。[Yang et al., 2021] 提出的 PipeMare 根據(jù) pipeline 階段向后調整學習率和模型權重。
對 pipeline 方法中激活導致的存儲成本進行建模是一項艱巨的任務（Beaumont et al., 2021b）。例如，[Fan et al., 2021] 中的 DAPPLE 、 [Li and Hoefler, 2021] 中的 Chimera 使用 1F1B（One-Forward-One-Backward）調度來減少與激活相關的內存消耗。1F1B 是一種同步權重更新技術，盡可能早地安排每個微批次的反向傳遞，以釋放激活占用的內存。
有些論文專門處理具有挑戰(zhàn)性的拓撲。比如，為了解決高通信成本和異構網絡能力的問題，[Zhan and Zhang, 2019] 中的 Pipe-torch 提出了一種更新的動態(tài)規(guī)劃策略，該策略假設計算和通信之間沒有重疊。[Park et al., 2020] 中的 Pipe 解決了異構 GPU 的其他問題，采用的方法是將這些異構 GPU 分成虛擬 worker，并在每個虛擬 worker 中運行 pipeline 并行化，同時依賴 worker 之間的數(shù)據(jù)并行化。
用于跨設備模型訓練的優(yōu)化器 
零冗余優(yōu)化器
2020 年， Rajbhandari, S. 等人在論文《 ZeRO: Memory Optimizations toward Training Trillion Parameter Models》中提出了零冗余優(yōu)化器（Zero Redundancy Optimizer, ZeRO），將它作為一種減少內存使用的數(shù)據(jù)并行化實現(xiàn)。根據(jù)在設備上劃分的張量，該算法具有三個階段，即階段 1 - 優(yōu)化器狀態(tài)、階段 2 - 優(yōu)化器狀態(tài)和梯度和階段 3 - 優(yōu)化器狀態(tài)、梯度和模型超參數(shù)。
2021 年， Ren, J. 等人在論文《 ZeRO-Offload: Democratizing Billion-Scale Model Training》中將 ZeRO 與 Zero-Offload 內部參數(shù)更新的 CPU 端計算統(tǒng)一起來，其中梯度被遷移至存儲參數(shù)副本的 CPU，更新的權重遷移回 GPU。
低精度優(yōu)化器
為了進一步減少內存使用，低精度優(yōu)化器（low-precision optimizer）有了用武之地。這些方法使用低精度格式拉力表示優(yōu)化器狀態(tài)以及狀態(tài)的輔助向量。并且，誤差補償技術可以被用來維持跟蹤統(tǒng)計的近似準確率。
2021 年， Dean, J. 等人在論文《Large Scale Distributed Deep Networks》中提出了一種將 Adam 優(yōu)化器存儲在 8-bit 的方法，同時在使用 32-bit 格式時保持整體性能不變。2020 年， Sun, X. 等人在論文《Ultra-Low Precision 4-bit Training of Deep Neural Networks》中提出了更激進的精度降低，其中開發(fā)了處理 4-bit 表示的特定路徑。
收斂加速
另一種加速大規(guī)模深度學習模型的方法是減少節(jié)點之間的通信時間以及在適當局部最小值收斂所需的 epoch 數(shù)量。
關于通信成本的降低。在將梯度在計算節(jié)點之間遷移之前對它們進行壓縮已經出現(xiàn)了不同的方法，具體有三類，分別是分裂（sparsification）、量化（quantization）和低秩（low-rank）方法。
分裂方法只遷移完整梯度元素的一些子集，并在參數(shù)向量中更新相應的元素。這種近似方法能夠顯著降低通信成本，同時保持訓練模型的性能，代表工作有 2017 年 Aji, A. F. 和 Heafield, K 的論文《 Sparse Communication for Distributed Gradient Descent 》和 2019 年 Alistarh, D. 等的論文《The Convergence of Sparsified Gradient Methods》。
另一種方法是基于遷移梯度的量化，該方法只遷移一定數(shù)量的 bit、從這些 bit 中重建整個梯度向量并更新參數(shù)向量的所有元素。這種方法對于一些神經網絡架構和實驗設置得到了不錯的結果，代表工作有 Alistarh, D. 等人 2017 年的論文《QSGD: Communication-Efficient SGD via Gradient Quantization and Encoding》。
最后一種降低通信成本的方法是低秩方法，其中在更新參數(shù)向量之前構建、遷移和使用梯度的低秩近似來恢復完整格式的梯度。低秩近似可以通過塊能量（block power）方法或者最小化策略來構建，各自的代表工作分別是 Vogels et al., 2019 和Cho et al., 2019。
大批量訓練。另一種加速優(yōu)化器收斂的方法是針對每個批使用大量的樣本。這種訓練設置可以減少每個 epoch 中的迭代次數(shù)，并提升 GPU 的利用率。在 Goyal, P 等人 2017 年的論文《Accurate, Large Minibatch SGD》中，研究者提出使用線性縮放規(guī)則來更新學習率和批大小。這一設置可以穩(wěn)定優(yōu)化過程，并將模型的最終性能收斂至相同。
封面來源：https://www.youtube.com/watch?v=RSRkp8VAavQ