NVLink

Leerlo en el Capítulo 1 · checkpoint +50 XP →

El enlace GPU a GPU de alto ancho de banda de NVIDIA: ~450 GB/s por dirección por H100, unas 7× PCIe Gen5.

NVLink es una interconexión punto a punto entre GPUs. Una H100 SXM tiene 18 enlaces NVLink 4 que suman ~900 GB/s bidireccionales (~450 GB/s por sentido). A través de NVSwitch, las 8 GPUs de un servidor HGX hablan entre sí a máxima velocidad.

Regla de diseño: pon el paralelismo más conversador en el enlace más rápido. El paralelismo tensorial hace varios all-reduce por capa, así que vive dentro del dominio NVLink. El paralelismo de datos, que sincroniza una vez por paso y se solapa con el cómputo, puede cruzar InfiniBand y RoCE.

Modo de falla: los errores de NVLink aparecen como Xid 74. Un enlace degradado obliga a que el tráfico vaya por PCIe y ralentiza las colectivas en silencio. nvidia-smi nvlink -s muestra el estado de cada enlace, y all_reduce_perf (nccl-tests) en un nodo libre muestra la caída de ancho de banda.

Úsalo en una misión

Relacionado

Fuentes y lecturas adicionales

• Modal GPU Glossary — hardware and software vocabulary
• NCCL User Guide
• NVIDIA H100 Tensor Core GPU

Escrito para LazyLab con nuestras propias palabras; las fuentes se citan para profundizar y verificar.