作为自媒体作者，我一直在关注人工智能领域的发展，最近发现一篇关于 NVIDIA NCCL 的论文，深入剖析了其内部设计原理和运行机制。新媒网跨境认为，这对于理解大规模 GPU 集群高性能集合通信至关重要。

NCCL，即 NVIDIA Collective Communications Library，是实现大规模 GPU 集群高性能集合通信操作的关键软件层。它以低时延和高带宽为核心特性，为人工智能、高性能计算等领域提供了强大的通信支持。虽然 NCCL 已经开源并提供 API 文档，但其内部设计原理仍然相对不透明，这给性能分析和瓶颈定位带来了困难。

这篇论文对 NCCL 展开了系统性研究，重点剖析了其通信协议（Simple/LL/LL128）、节点内与节点间的传输控制机制、以及基于 Ring 和 Tree 的通信算法。通过深入分析，揭示了 NCCL 如何在不同的硬件和软件环境下实现高性能通信。

NCCL 的核心模块与 API

NCCL 提供四大模块：Communicator 管理、集合通信、P2P 通信和 Group 调用。Communicator 管理类似于 MPI，所有通信操作都在 Communicator 上下文环境中执行。每个参与通信的 GPU 都维护一个 Communicator 对象，作为调用 NCCL 的执行载体。Communicator 中包含了通信组相关信息（如 rank、nRanks、cudaDev、localRank/localRanks、node/nNodes），通信拓扑与连接信息（如通信 Channel 数组、拓扑结构体指针、所有 rank 的硬件和进程信息），以及算法与性能参数（如各种集合通信算法的图结构和参数、实际用于通信的通道数、是否支持 CollNet、NVLS 等高级通信特性）。

集合通信是 NCCL 的核心功能，提供了 ncclAllReduce、ncclBroadcast、ncclReduce、ncclAllGather 和 ncclReduceScatter 五种集合通信操作。此外，NCCL 还支持 P2P 通信，通过 ncclSend 和 ncclRecv 实现点对点通信操作。为了聚合操作并降低系统开销，NCCL 提供了 ncclGroupStart 和 ncclGroupEnd 函数，将一系列 NCCL 调用封装为操作组，延迟到组结束时统一执行。

启动策略与通信 Channel

NCCL 支持三种多 GPU 操作执行的启动模型：每个 GPU 单个 CPU 进程、每个 GPU 单个 CPU 线程、多 GPU 共享单 CPU 线程。每种方法都有其独特的特性，适用于不同的场景。

NCCL 通过 GPU、CPU 和 NIC 三大硬件组件协调通信过程。为了消除单 SM 处理 GPU 工作时可能导致的过载问题，NCCL 将每个集合通信操作细分为多个通信 Channel。每个 Channel 以独立 CUDA Block 形式启动，运行在专属的 SM 上，同时库函数对输入缓冲区进行分区，以确保各 Channel 并行处理并且互不相交。新媒网跨境了解到，这种细粒度并行机制显著提升了整体吞吐量。此外，还能均衡 NVLink 平台上多 NIC 之间的流量分布。

每个 Channel 的逻辑通信拓扑直接影响 GPU 间数据传输方式。Ring 拓扑中，各 GPU 识别其直接前驱和后继节点以形成单向通信环。Tree 拓扑中，各 GPU 记录其父节点和子节点的 Rank 号，构建逻辑通信树。为了提升带宽利用率，NCCL 采用双二叉树结构。这些拓扑结构在 Communicator 初始化时确立，并在所有集合操作中复用。

NCCL 的调优模型

NCCL 的调优模型能够根据硬件特性和通信需求，自动选择合适的算法和协议，并优化线程数、带宽和延迟等参数。该模型会根据 GPU 架构、节点数等信息选择合适的带宽上限表。同时，还会对每种集合通信操作、每种算法、每种协议计算理论带宽和延迟。计算时会考虑算法图参数、硬件带宽上限、节点数、每节点 GPU 数、不同协议的效率修正、特殊算法的支持条件和性能修正、网络延迟、PCIe/NVLink/网络等不同链路的延迟模型。此外，还支持通过环境变量精细控制哪些算法/协议可用。

通信协议的选择

NCCL 采用多种通信协议以优化集合通信的数据传输效率，包括 Simple、LL（Low Latency，低延迟）和 LL128，旨在带宽和延迟之间实现不同的平衡。Simple 协议旨在最大化带宽利用率，适用于大消息传输。LL 协议针对小消息传输，采用基于标志位的轻量级同步方案，避免了高开销的内存屏障操作。LL128 协议在保留低延迟特性的基础上对 LL 协议进行了优化，显著提升带宽利用效率，尤其是 NVLink 等高性能互连场景。NCCL 在运行时根据用户配置、集合通信算法及内部性能启发式规则，动态选择这三种协议。

数据传输策略与传输层

NCCL 根据通信发生在单一节点（节点内通信）还是跨多个节点（节点间通信）采用了差异化的数据传输策略与传输机制。节点内通信优先选择同一物理机内 GPU 间延迟最低、带宽最高的传输路径。该策略深度依赖 NVIDIA 的 GPUDirect P2P 技术，使得 GPU 能够直接访问彼此显存，无需经由 CPU 系统内存中转。节点间通信则根据可用硬件在基于套接字的通信和 IB Verbs 传输两种主要网络传输协议之间进行选择。

集合通信算法

集合通信算法是 NCCL 的核心，它实现了 GPU 间高效、同步的通信。NCCL 提供多种算法，但并非每种算法都适合每种协议。NVLS 与 CollNet 是专为优化 AllReduce 性能设计的特殊算法，其中 NVLS 还通过利用特定硬件能力支持 ReduceScatter 和 AllGather 操作。CollNet 算法适用于网络基础设施可直接参与集合运算的场景。

NCCL 通过组合一组底层通信原语来实现高级集合操作。这些原语构成了 NCCL 集合算法的基础，封装了跨 GPU 发送、接收、归约和复制数据等基本操作。NCCL 处理集合操作时，首先将用户输入数据分配到可用的通信 Channel 中，从而实现 Channel 级并行。每个通道负责输入数据的一个连续片段，其范围由元素总数与 Channel 数量共同决定。

NCCL 的集合通信算法可以分为流水线模式与非流水线模式。流水线模式下，各 GPU 无需等待当前迭代完成即可启动下一轮迭代，从而提高整体效率。非流水线模式下，各 GPU 必须完整执行当前迭代的所有任务后，方能启动下一轮迭代。

总的来说，这篇论文深入剖析了 NCCL 的内部设计原理和运行机制，为理解和优化大规模 GPU 集群的通信性能提供了重要的参考。新媒网跨境认为，随着人工智能和高性能计算的发展，NCCL 将在未来发挥更加重要的作用。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/14003.html