Multi-Instance GPU (MIG)

Leerlo en el Capítulo 6 · checkpoint +50 XP →

Partición por hardware de una GPU en hasta siete instancias aisladas, cada una con sus propios SM, slices de L2 y memoria.

MIG (A100, H100 y posteriores) divide una GPU en hasta 7 instancias. Cada una recibe una porción dedicada de SM, caché L2 y HBM, con sus propios controladores de memoria. Las fallas y la presión de memoria de una instancia no afectan a otra, lo que hace de MIG la opción más fuerte para compartir GPU. Ver multi-tenencia.

Los perfiles se nombran por slices de cómputo y memoria; por ejemplo, en una H100 de 80 GB: 1g.10gb, 2g.20gb, 3g.40gb, 4g.40gb, 7g.80gb. No todas las combinaciones caben. La colocación sigue reglas fijas sobre qué slices pueden ir juntos.

Cuándo usarlo: inferencia, notebooks y cargas de CI que necesitan una fracción de GPU y no deben interferir entre sí. Cuándo no: trabajos de entrenamiento grandes. Esos quieren GPUs completas y NVLink, que las instancias MIG no pueden usar para comunicación peer-to-peer.

Juega con el particionador de abajo para ver cómo encajan los perfiles.

Relacionado

Fuentes y lecturas adicionales

• NVIDIA MIG User Guide
• Modal GPU Glossary — hardware and software vocabulary

Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.