NVSwitch
Leerlo en el Capítulo 1 · checkpoint +50 XP →
Un chip switch que da a cada GPU de un servidor NVLink a pleno ancho de banda con todas las demás.
Sin un switch, NVLink es punto a punto, así que cada GPU solo se conecta con unas pocas vecinas. NVSwitch construye un crossbar sin bloqueo: en un servidor HGX H100, cuatro chips NVSwitch conectan las 8 GPUs todas con todas a pleno ancho de banda NVLink.
Los sistemas más nuevos extienden el dominio NVLink más allá del servidor (p. ej. racks NVL72), de modo que 72 GPUs funcionan como una gran isla de paralelismo tensorial. La regla de NVLink sigue valiendo: cuanto mayor el dominio NVLink, mayores grupos de paralelismo tensorial o de expertos puedes usar sin tocar la red de escalado, más lenta.
nvidia-smi topo -m muestra NV18 (18 enlaces agrupados) entre cada par de GPUs en un sistema con NVSwitch.
Relacionado
Fuentes y lecturas adicionales
- Modal GPU Glossary — hardware and software vocabulary
- NVIDIA H100 Tensor Core GPU
Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.