Stragglers (rezagados)

Leerlo en el Capítulo 3 · checkpoint +50 XP →

En el entrenamiento síncrono todo el trabajo corre a la velocidad de su GPU más lenta. Encontrar esa GPU es una habilidad clave de operación.

Cada colectiva es una barrera. Si una de 1,024 GPUs va 40% más lenta (por throttling térmico, un enlace inestable, un vecino ruidoso o un disco lento en un nodo), las 1,024 van 40% más lentas.

Señales

• El rendimiento cae sin errores en los logs.
• La utilización por GPU parece invertida: el straggler muestra ~100% y las demás menos, porque esperan en la barrera.
• El reloj de SM del straggler está bajo. nvidia-smi -q -d PERFORMANCE muestra HW Thermal Slowdown o SW Power Cap.
• Los tiempos de NCCL o del framework muestran un rango que siempre llega tarde a las colectivas.

Respuesta: identificar, hacer drain, reiniciar desde un checkpoint en hardware sano y abrir un ticket de hardware. A escala, automatízalo: tiempos por rango continuos, relojes y temperaturas de DCGM y aislamiento automático.

Úsalo en una misión

Relacionado

Fuentes y lecturas adicionales

• NVIDIA DCGM documentation
• Distributed Training (T. Tsugriy) — parallelism strategies, collectives, memory

Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.