OperaciónRuta Monitoreo
DCGM
Leerlo en el Capítulo 3 · checkpoint +50 XP →
Data Center GPU Manager: telemetría de GPU a escala de flota, chequeos de salud, diagnósticos y políticas, la base del monitoreo de GPUs.
DCGM ejecuta un host engine (nv-hostengine) en cada nodo y expone:
- Campos de telemetría: temperatura, potencia, relojes, ECC, contadores NVLink, eventos Xid y métricas de profiling (
SM_ACTIVE,SM_OCCUPANCY,PIPE_TENSOR_ACTIVE,DRAM_ACTIVE). - Health watches que señalan problemas térmicos, de potencia, memoria, PCIe y NVLink.
- Diagnósticos:
dcgmi diag -r 1|2|3, desde chequeos rápidos de despliegue hasta pruebas de estrés. Corre el nivel 1 antes de que un nodo vuelva al pool y el nivel 3 después de trabajo de hardware. - dcgm-exporter para Prometheus, que alimenta paneles de Grafana y reglas de alerta.
Alertas que conviene tener desde el primer día
- Cualquier evento Xid (los críticos despiertan a alguien).
- HW thermal slowdown activo durante más de un minuto.
- ECC no corregible o row remap pendiente.
- GPU ocupada mientras el planificador no muestra ningún trabajo en ese nodo. Eso atrapa fugas y Cryptojacking en clústeres de GPU.
Úsalo en una misión
Monitoreo
El carril lento
El rendimiento cayó a la mitad en 32 GPUs, pero nada falló. Encuentra al rezagado.
Seguridad
Turno de noche
Una GPU está ocupada sin ningún trabajo planificado. Investiga, contén y elimina la persistencia.
Relacionado
Fuentes y lecturas adicionales
Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.