El carril lento
El rendimiento cayó a la mitad en 32 GPUs, pero nada falló. Encuentra al rezagado.
Briefingclic para contraer
Un modelo de 7B entrena en 4 nodos (32 H100), y node-5 está libre como repuesto. Hace unos minutos los tokens/s bajaron ~45%. No hay errores en el log. Nada se cayó.
En el entrenamiento síncrono con paralelismo de datos, cada paso espera a la GPU más lenta. Encuéntrala, saca su nodo de rotación y vuelve a poner el MFU por encima del 60%.
Herramientas: los paneles de la derecha, nvidia-smi, nvidia-smi -q -d PERFORMANCE, --query-gpu=index,temperature.gpu,clocks.sm, scontrol.
tiempo sim. 1:30energía 0.76 kWhcosto $2.09carbono 0.29 kg CO₂e
Clúster5 × 8 H100 SXM 80GB · IB-NDR
node-1
job 101 · llama7b
node-2
job 101 · llama7b
node-3
job 101 · llama7b
node-4
job 101 · llama7b
node-5
inactivo
0%100% util▲ limitada✕ perdidatoca una GPU para ver detalles
Misión: El carril lento. Eres ops@login-1 con sudo.
Escribe `help` para ver comandos y `cat README.md` para las notas. Los objetivos se verifican solos (panel derecho). La salida de la terminal está en inglés, como en un clúster real.
ops@login-1:~$
Objetivos0/2 cumplidos
- El nodo con la GPU limitada está en drain
- El entrenamiento vuelve a superar el 60% de MFU en nodos sanos
−33 pts cada una
Alertas1 activas
GpuThermalSlowdown node-3/gpu5 · warning
HW thermal slowdown active at 85°C
Panelesúltimos 90s · pasa el cursor para ver valores
Rendimiento de entrenamiento283.9k tok/s
MFU (mejor trabajo)36.1%
Utilización media de GPU44%
Potencia de la instalación25.5 kW
GPU más caliente85°C