Paralelismo tensorial
Leerlo en el Capítulo 4 · checkpoint +50 XP →
Divide las matrices de cada capa entre GPUs (estilo Megatron). Caben modelos enormes, pero cada capa necesita colectivas.
El paralelismo tensorial (TP) reparte las matrices de pesos dentro de cada capa. En el esquema de Megatron-LM, la primera matmul del MLP se divide por columnas y la segunda por filas, así que una capa solo necesita un all-reduce en el forward y uno en el backward. Con la atención tratada igual, son ~4 all-reduce de activaciones por capa transformer por micro-batch.
Compromisos
- ✅ Pesos, gradientes, estado del optimizador y activaciones se reducen por el grado de TP.
- ❌ La comunicación es frecuente, sensible a la latencia y está en el camino crítico. Casi no se puede ocultar.
- ❌ Los shards se vuelven estrechos: hidden/TP demasiado pequeño significa GEMM pequeñas y menor eficiencia de los tensor cores.
Regla: mantén el TP dentro del dominio NVLink (TP ≤ 8 en servidores HGX). TP=16 a través de InfiniBand y RoCE es una forma clásica de desperdiciar un clúster.
Úsalo en una misión
Relacionado
Fuentes y lecturas adicionales
- Megatron-LM (Shoeybi et al., 2019)
- Distributed Training (T. Tsugriy) — parallelism strategies, collectives, memory
Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.