¿Qué es el checkpointing de gradientes?
Al entrenar una red neuronal, la retropropagación necesita un montón de resultados intermedios (activaciones) que deja la pasada hacia adelante. Cuanto más grande es el modelo, más se acumulan, y tarde o temprano te quedas sin memoria de la GPU. El checkpointing de gradientes usa una idea muy simple: no guardes todos esos resultados intermedios. Conserva solo unos pocos «puntos de control» y recalcula el resto sobre la marcha cuando la retropropagación los necesite.¿Por qué ahorra memoria?
Memoria y cómputo son dos monedas intercambiablesPuedes gastar memoria guardando resultados intermedios, o gastar cómputo recalculándolos después. El checkpointing elige lo segundo: un poco más de cálculo a cambio de un recorte grande de memoria.
Solo se guardan las instantáneas clave
No registra cada paso. Guarda capturas en ciertos puntos y recalcula lo que falte desde la instantánea más cercana cuando hace falta.
¿Cuál es la pega?
Pagas cómputo extraPor el recálculo, el trabajo total sube un 20% o 30%, y el entrenamiento se vuelve algo más lento.
Pero el intercambio suele compensar
La misma GPU ahora puede alojar un modelo más grande o un batch más grande, lo que suele traducirse en mejores resultados y convergencia más rápida.
¿Cuándo usarlo?
Cuando entrenas un modelo grande y lo que no cabe es la memoria, el checkpointing de gradientes es un truco de mucho valor. Se usa a menudo junto con el entrenamiento en precisión mixta y la acumulación de gradientes: un movimiento estándar para exprimir más modelo del mismo hardware.En resumen: el checkpointing de gradientes cambia un poco más de cálculo por mucha menos memoria, para que la GPU deje de ser el motivo por el que no puedes entrenar un modelo grande.
Comentarios