Kubernetes y el GPU Operator

Leerlo en el Capítulo 2 · checkpoint +50 XP →

Cargas de GPU en Kubernetes: device plugins, el GPU Operator, perfiles MIG y gang scheduling.

Kubernetes no sabe nada de GPUs por defecto. El device plugin de NVIDIA anuncia nvidia.com/gpu como recurso planificable. El GPU Operator instala y gestiona toda la pila como contenedores: driver, container toolkit, device plugin, DCGM exporter y MIG manager.

Diferencias con Slurm que importan para entrenar

• Kubernetes planifica pods de uno en uno. El entrenamiento distribuido necesita gang scheduling (todo o nada), que aportan complementos como Kueue o Volcano.
• La conciencia de topología (mismo rack, mismo dominio NVLink) requiere configuración extra.
• Brilla en flotas mixtas: servicios de inferencia, notebooks y CI junto a trabajos por lotes, a menudo en slices MIG.

Muchas organizaciones usan ambos: Slurm para el entrenamiento grande y Kubernetes para todo lo demás, a veces sobre el mismo hardware.

Relacionado

Fuentes y lecturas adicionales

• NVIDIA GPU Operator

Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.