新媒网 · 跨境数据社区

PyTorch迎来革新！`torchcomms` 助力超十万级GPU大模型训练！

PyTorch发布实验性轻量级通信API `torchcomms`，并开源新后端`NCCLX`，旨在提供更高效、更灵活的分布式通信解决方案，应对超大规模模型训练的挑战。`NCCLX`已在Meta内部用于Llama3和Llama4等大型语言模型的生产级训练与推理。