Se cayó del bus
Un entrenamiento murió durante la noche. Encuentra la GPU mala, pon el nodo en cuarentena y vuelve a arrancar el trabajo.
Briefingclic para contraer
El trabajo 101 (un 7B en 2 nodos) falló hace unos minutos y su dueño pregunta por qué. Tu tarea:
- averiguar qué nodo y qué GPU lo mataron,
- hacer drain de ese nodo para que el planificador deje de mandarle trabajo,
- volver a poner el entrenamiento en marcha en nodos sanos.
Empieza con sacct, el log del trabajo (cat slurm-101.out) y el log del kernel del nodo (ssh <nodo> y luego dmesg).
tiempo sim. 1:00energía 0.27 kWhcosto $0.47carbono 0.10 kg CO₂e
Clúster4 × 8 H100 SXM 80GB · IB-NDR
node-1
inactivo
node-2
inactivo
node-3
inactivo
node-4
inactivo
0%100% util▲ limitada✕ perdidatoca una GPU para ver detalles
Misión: Se cayó del bus. Eres ops@login-1 con sudo.
Escribe `help` para ver comandos y `cat README.md` para las notas. Los objetivos se verifican solos (panel derecho). La salida de la terminal está en inglés, como en un clúster real.
ops@login-1:~$
Objetivos0/2 cumplidos
- node-2 está en drain (con un motivo)
- El trabajo de 7B vuelve a entrenar en 2 nodos sanos
−33 pts cada una
Alertas2 activas
GpuFellOffBus node-2/gpu6 · critical
Xid 79: GPU has fallen off the bus
JobFailed job 101 · warning
Job 101 (llama7b) failed with exit code 1:0
Panelesúltimos 60s · pasa el cursor para ver valores
Rendimiento de entrenamiento0 tok/s
MFU (mejor trabajo)0.0%
Utilización media de GPU0%
Potencia de la instalación9.1 kW
GPU más caliente34°C