LazyLabEN
HardwareRuta Monitoreo

Potencia y temperatura

Leerlo en el Capítulo 3 · checkpoint +50 XP →

Las GPUs bajan sus relojes para no pasar su límite de potencia y sus umbrales térmicos, y la GPU más lenta marca el ritmo.

Cada GPU tiene un límite de potencia (TDP; 700 W en la H100 SXM) y umbrales térmicos. Cuando superaría cualquiera de ellos, el firmware baja los relojes:

  • SW Power Cap: está consumiendo el límite configurado; los relojes bajan un poco. Suele ser intencional. Ver limitación de potencia.
  • HW Slowdown / HW Thermal Slowdown: un freno de emergencia, normalmente por sobrecalentamiento (ventilador fallido, flujo de aire bloqueado, aire de entrada caliente). Los relojes pueden bajar a la mitad.

En el entrenamiento síncrono, una sola GPU limitada se convierte en una ralentización de todo el clúster. Cada colectiva la espera. Eso es un straggler.

Dónde mirar

  • nvidia-smi -q -d PERFORMANCE muestra las "Clocks Event Reasons" (antes throttle reasons).
  • nvidia-smi -q -d TEMPERATURE muestra la temperatura actual, la de slowdown y la de apagado.
  • Campos de DCGM como DCGM_FI_DEV_GPU_TEMP, DCGM_FI_DEV_POWER_USAGE y la máscara de throttling de reloj alimentan las alertas.
EN VIVO Compromiso del límite de potencia (H100 a plena carga)
rendimientoenergía / token
40%60%80%100%300 W400 W500 W600 W700 Wlímite de potencia% sin límiterendimientoenergía / token91%
Rendimiento
91%
Potencia
79%
Energía por token
86%

Solo la parte limitada por cómputo de cada paso se frena con los relojes; la comunicación y la carga de datos no.

Úsalo en una misión

Monitoreo
El carril lento
El rendimiento cayó a la mitad en 32 GPUs, pero nada falló. Encuentra al rezagado.
Rendimiento
¿Cuántos watts?
La instalación pide recortar 20% de potencia. Conserva al menos 85% del rendimiento.

Relacionado

Stragglers (rezagados)Limitación de potencianvidia-smiDCGM

Fuentes y lecturas adicionales

Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.