OperaciónRuta Monitoreo

Errores Xid

Leerlo en el Capítulo 3 · checkpoint +50 XP →

Códigos de error que el driver del kernel de NVIDIA escribe en el log del sistema cuando algo sale mal en una GPU.

Un Xid es la forma del driver de decir "esta GPU tuvo un problema". Aparece en el log del kernel (dmesg, journalctl -k) como NVRM: Xid (PCI:0000:xx:00.0): <código>, .... Los mensajes los emite el driver del kernel, que puedes leer en open-gpu-kernel-modules de NVIDIA.

Códigos que todo operador de GPUs debería reconocer

XidSignificadoAcción típica
13, 31, 43Errores de la aplicación (acceso inválido a memoria, instrucción ilegal)Normalmente el código del usuario
48Error ECC no corregible (doble bit)Reset de la GPU, revisar row remapping, vigilar si se repite
63, 64Eventos de row remappingReset cuando esté libre; RMA si el remapeo falla
74Error de NVLinkRevisar enlaces, reasentar, correr nccl-tests
79La GPU se cayó del busDrain del nodo, reinicio, probablemente ticket de hardware
94, 95Error ECC contenido / no contenidoContenido: solo afecta a la app. No contenido: reset

Patrón de operación: alerta de Xid vía DCGM, drain del nodo en Slurm con el Xid en el motivo, requeue de los trabajos afectados desde sus checkpoints y luego diagnóstico fuera de línea.

Úsalo en una misión

Relacionado

Fuentes y lecturas adicionales

Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.