Glosario

Un procesador de alto rendimiento: miles de carriles simples que ocultan la latencia con paralelismo en lugar de cachés y predicción.

El bloque básico de la GPU: planificadores, registros, memoria compartida, CUDA cores y tensor cores.

32 hilos que ejecutan al unísono. Las ramas divergentes y los accesos dispersos a memoria cuestan rendimiento real.

Unidades de multiplicar y acumular matrices que aportan la mayoría de los FLOPs de una GPU moderna, si las alimentas con la precisión y formas correctas.

High Bandwidth Memory: DRAM apilada junto al chip de la GPU. Su capacidad limita el tamaño del modelo y su ancho de banda limita muchos kernels.

Partición por hardware de una GPU en hasta siete instancias aisladas, cada una con sus propios SM, slices de L2 y memoria.

Las GPUs bajan sus relojes para no pasar su límite de potencia y sus umbrales térmicos, y la GPU más lenta marca el ritmo.

El bus de uso general entre CPU, GPU, NIC y NVMe. Está en todas partes, pero es un orden de magnitud más lento que NVLink.

El enlace GPU a GPU de alto ancho de banda de NVIDIA: ~450 GB/s por dirección por H100, unas 7× PCIe Gen5.

Un chip switch que da a cada GPU de un servidor NVLink a pleno ancho de banda con todas las demás.

La red de escalado: redes RDMA que mueven tensores entre servidores sin involucrar a la CPU.

Cómo se cablean nodos, switches y enlaces: fat trees, diseños rail-optimized y por qué la sobresuscripción castiga a las colectivas.

Driver del kernel → driver de usuario → runtime de CUDA → bibliotecas → frameworks. En cada unión puede haber incompatibilidades de versión.

Colas de trabajo de GPU que permiten que copias, kernels y comunicación se solapen en lugar de esperarse.

La biblioteca de comunicación colectiva de NVIDIA: all-reduce, all-gather y demás, conscientes de la topología, sobre NVLink, PCIe y RDMA.

El planificador por lotes que corre en la mayoría de los clústeres de HPC y en muchos de IA: particiones, trabajos, asignaciones y estados de nodo.

Cargas de GPU en Kubernetes: device plugins, el GPU Operator, perfiles MIG y gang scheduling.

Cómo acceden los contenedores a las GPUs: el driver del host, los nodos de dispositivo inyectados y el NVIDIA Container Toolkit.

Cada GPU tiene una réplica completa del modelo, procesa datos distintos y promedia los gradientes en cada paso.

Suma un buffer entre todos los rangos y entrega el resultado a todos. La colectiva de la que vive el entrenamiento con paralelismo de datos.

Divide las matrices de cada capa entre GPUs (estilo Megatron). Caben modelos enormes, pero cada capa necesita colectivas.

Divide la pila de capas en etapas en GPUs distintas y pasa micro-batches en cadena. Poco tráfico, pero con una burbuja.

Reparte el estado del optimizador, los gradientes y los parámetros entre los rangos de paralelismo de datos en lugar de replicarlos.

Haz las cuentas en formatos de 16 u 8 bits en los tensor cores y guarda una copia maestra en FP32 para actualizaciones estables.

Descarta activaciones en el forward y recalcúlalas en el backward: cambia ~33% más de cómputo por mucha menos memoria.

FLOP/s alcanzables = min(cómputo máximo, intensidad aritmética × ancho de banda de memoria). Te dice contra qué muro chocas.

FLOPs útiles del modelo por segundo divididos entre el máximo del hardware. La cifra honesta de eficiencia de entrenamiento.

Por qué 2× GPUs rara vez da 2× velocidad: trabajo serial, comunicación y sincronización (la ley de Amdahl y compañía).

Cuando los 32 hilos de un warp leen direcciones contiguas, el hardware los une en unas pocas transacciones anchas.

Warps residentes por SM como fracción del máximo: el repertorio del planificador para ocultar latencia.

Leer, decodificar y tokenizar datos lo bastante rápido para alimentar a las GPUs: el cuello de botella después de arreglar todo lo demás.

La primera herramienta a la que recurres: utilización, memoria, temperatura, potencia, relojes, procesos y configuración por GPU.

Data Center GPU Manager: telemetría de GPU a escala de flota, chequeos de salud, diagnósticos y políticas, la base del monitoreo de GPUs.

Códigos de error que el driver del kernel de NVIDIA escribe en el log del sistema cuando algo sale mal en una GPU.

La HBM está protegida por códigos de corrección de errores: los errores de un bit se corrigen en silencio y los de dos bits detienen el trabajo.

En el entrenamiento síncrono todo el trabajo corre a la velocidad de su GPU más lenta. Encontrar esa GPU es una habilidad clave de operación.

Guarda periódicamente el estado del modelo y del optimizador para que una falla cueste minutos de progreso, no días.

Time-slicing, MPS y MIG: tres formas de compartir una GPU, con garantías de aislamiento muy distintas.

Minería de criptomonedas no autorizada con tiempo de GPU robado: la forma más común de abuso de clústeres de GPU.

Un servidor Jupyter sin token en 0.0.0.0 es ejecución remota de código para cualquiera que pueda alcanzarlo.

Imágenes de contenedor, pesos de modelos y scripts de trabajos son código que ejecutas, y un lugar común para credenciales filtradas.

kWh, PUE y CO₂e: medir el costo ambiental del cómputo para poder gestionarlo en lugar de adivinarlo.

Baja el límite de potencia de una GPU y cede un poco de velocidad por mucha menos energía: a menudo 20% menos potencia por menos de 10% de lentitud.

Políticas del planificador que equilibran el acceso entre equipos según lo que les corresponde y lo que usaron recientemente.