勾配チェックポイント

勾配チェックポイントって何？

ニューラルネットを訓練するとき、逆伝播には順伝播が残した中間結果（活性値）が必要です。モデルが大きいほど中間結果は増え、いずれGPUメモリが足りなくなります。勾配チェックポイントの考え方はとてもシンプル。中間結果を全部は保存せず、いくつかの「チェックポイント」だけ残し、逆伝播で必要になったらその場で再計算します。

なぜメモリを節約できるのか

メモリと計算は交換できる資源
中間結果をメモリに保存するか、必要になったら計算し直すか。勾配チェックポイントは後者を選び、少しの計算量の増加と引き換えにメモリを大幅に減らします。
要所だけ保存
一歩一歩すべてを記録せず、特定の場所にだけ「スナップショット」を残します。足りない部分は、必要なときに直近のスナップショットから再計算します。

代償は何か

計算量が増える
再計算があるため、全体の計算量はおよそ20〜30%増え、訓練は少し遅くなります。
それでも見合う
同じGPUで、より大きなモデルやより大きなバッチサイズを扱えるようになり、結果的により良い成果と速い収束につながることが多いです。

いつ使うのか

大規模モデルを訓練していて「メモリが足りない」とき、勾配チェックポイントは費用対効果の高い一手です。混合精度訓練や勾配蓄積と併用されることが多く、同じハードウェアからモデルを「絞り出す」定番テクニックです。

まとめ：勾配チェックポイントは「少し多めに計算する」ことで「ずっと少なく保存する」技術。GPUメモリの壁を越えて大規模モデルを訓練するための定番手段です。