HBM y la jerarquía de memoria
Leerlo en el Capítulo 1 · checkpoint +50 XP →
High Bandwidth Memory: DRAM apilada junto al chip de la GPU. Su capacidad limita el tamaño del modelo y su ancho de banda limita muchos kernels.
La High Bandwidth Memory apila chips de DRAM junto a la GPU sobre un interposer de silicio. Una H100 SXM tiene 80 GB a ~3.35 TB/s. Debajo están la L2 (decenas de MB), la memoria compartida/L1 de cada SM y los registros, cada uno más pequeño y más rápido.
La capacidad es el primer muro en el entrenamiento de modelos grandes. Adam en precisión mixta necesita ~16 bytes por parámetro (pesos, gradientes, copia maestra FP32 y dos momentos), antes de las activaciones. Un modelo de 7B necesita ~107 GB solo de estado, más de lo que cabe en una GPU. Por eso existen ZeRO/FSDP, el paralelismo tensorial y el checkpointing de activaciones.
El ancho de banda es el segundo muro. Cualquier kernel con baja intensidad aritmética (operaciones elemento a elemento, normalizaciones, matrices pequeñas) está limitado por el ancho de banda de HBM, no por los FLOPs. Ver Modelo roofline.
Prueba la calculadora de abajo: cambia el modelo, la etapa de ZeRO y el paralelismo, y mira la memoria por GPU frente a la línea de 80 GB.
Úsalo en una misión
Relacionado
Fuentes y lecturas adicionales
- ZeRO (Rajbhandari et al., 2020)
- Reducing Activation Recomputation (Korthikanti et al., 2022)
- Modal GPU Glossary — hardware and software vocabulary
- NVIDIA H100 Tensor Core GPU
Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.