Errores ECC y row remapping
Leerlo en el Capítulo 3 · checkpoint +50 XP →
La HBM está protegida por códigos de corrección de errores: los errores de un bit se corrigen en silencio y los de dos bits detienen el trabajo.
Las GPUs de centro de datos protegen la HBM (y la SRAM del chip) con ECC:
- Un bit (corregible): se corrige al vuelo y se cuenta. Un conteo que crece despacio es normal. Uno que crece rápido es una advertencia.
- Doble bit (no corregible, DBE): el dato se pierde. La aplicación recibe un error (Xid 48 / 94 / 95) y la GPU normalmente necesita un reset.
A100 y posteriores usan row remapping: una fila de DRAM mala se reemplaza por una de repuesto en el siguiente reset de la GPU. nvidia-smi -q -d ECC muestra "Remapped Rows → Pending: Yes" hasta que hagas el reset. Si el remapeo falla (se agotaron los repuestos), hay que reemplazar la GPU.
Procedimiento: drain → esperar a que salgan los trabajos → nvidia-smi -r -i <gpu> → dcgmi diag -r 2 → volver a servicio si sale limpia.
Relacionado
Fuentes y lecturas adicionales
Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.