粤公网安备 44011302004783号 cuML极速安装：3步搞定！直降30%成本
各位跨境实战专家和技术同仁们，大家好！今天，我想和大家分享一个对于我们处理高性能计算、尤其是深度学习任务至关重要的好消息和一份实战指南。英伟达（NVIDIA）的cuML库，这个高性能的机器学习利器，终于在PyPI上实现了pip一键安装。这不仅仅是技术上的进步，更是为我们广大的开发者和企业带来了实实在在的便利和效率提升。
新媒网跨境获悉，自cuML 25.10版本发布以来，我们告别了过去那些复杂的安装步骤和烦人的Conda环境管理。现在，只需简单的pip指令，就像安装其他Python包一样，cuML就能轻松部署。这意味着更快的项目启动、更简化的环境配置，也为我们的跨境业务和技术团队节省了宝贵的时间和资源。
英伟达团队为了让cuML更易用、更高效，付出了巨大的努力。其中一个核心挑战，就是如何精简CUDA C++库的二进制文件大小。这不仅影响了用户体验，更直接关系到能否在PyPI平台上进行分发。大家知道，PyPI对上传的二进制文件大小有严格限制，这主要是为了控制Python软件基金会（PSF）的运营成本，并防止用户下载到过于庞大的文件。
过去，cuML库的复杂性使其二进制文件通常超出PyPI的限制。但通过与PSF的紧密合作，英伟达的工程师团队通过系统性地优化，成功将二进制文件大小减少了大约30%。这使得cuML轮子文件（wheels）能够顺利登陆PyPI，从而触达更广泛的受众，也让企业用户可以在内部的PyPI镜像中轻松获取。
接下来，我将带领大家深入了解cuML从PyPI安装的新路径，并剖析英伟达团队是如何一步步“瘦身”CUDA C++库的，这些宝贵的实战经验，相信能给在座的各位带来不少启发。
PyPI上的cuML安装指南
安装cuML现在非常简单。根据你系统中的CUDA版本，选择对应的安装命令即可。这些软件包都经过了精心优化，旨在提供最佳的兼容性和性能。
CUDA 13 用户：
（轮子文件大小约为 250 MB）
pip install cuml-cu13
CUDA 12 用户：
（轮子文件大小约为 470 MB）
pip install cuml-cu12
英伟达cuML团队如何实现30%的二进制“瘦身”
通过一系列精妙的优化技巧，英伟达团队成功地将CUDA 12 libcuml动态共享对象（DSO）的文件大小从最初的约690 MB大幅缩减至490 MB。这意味着减少了近200 MB，高达30%的优化！这样的“瘦身”带来的好处显而易见：
- 从PyPI下载速度更快。
- 用户本地存储需求更低。
- 容器化部署时，构建速度更快。
- 分发成本，尤其是带宽成本显著降低。
要实现二进制文件的缩减，需要一套系统性的方法来识别并消除CUDA C++代码库中的冗余。在下文中，我们将详细分享这些宝贵的技术，它们对任何从事CUDA C++库开发的团队都具有借鉴意义。我们希望这些方法能帮助更多库开发者有效管理二进制文件大小，推动CUDA C++生态系统向着更轻量、更易用的方向发展。
为什么CUDA二进制文件总是如此庞大？
如果你曾发布过编译后的CUDA C++代码，你可能会发现，这些库的文件大小往往远超提供类似功能的普通C++库。CUDA C++库之所以庞大，症结在于其中包含了大量的“核函数”（GPU functions）。每一个核函数的实例化，本质上都是以下两者的“笛卡尔积”：
- 代码中使用的所有模板参数。
- 库所支持的真实GPU架构，并编译成最终执行CUDA代码所需的Real-ISA机器码。
这意味着，一旦你添加更多功能并支持更新的GPU架构，二进制文件的大小就会像滚雪球一样迅速膨胀，变得难以控制。即使只支持一种架构，其二进制文件也比具有相同功能的纯CPU库大得多。
风险前瞻与时效性提醒：各位在实践中要注意，这里分享的技术并非解决所有二进制文件大小问题的“万能药”，它也不涵盖所有可能的优化方法。我们聚焦的是cuML以及RAPIDS系列库（如RAFT和cuVS）中行之有效的最佳实践。在具体实施时，大家需要综合考量，因为二进制文件大小与运行时性能之间，往往需要找到一个平衡点，这涉及到权衡取舍。
深入理解CUDA的“整体编译模式”
在探讨具体解决方案之前，我们有必要先理解CUDA默认的编译机制。通常，CUDA C++库采用“整体编译模式”（Whole Compilation mode）。在这种模式下，每一个“翻译单元”（Translation Unit, 简称TU，即每个.cu源文件）只要直接使用三箭头语法（kernel<<<...>>>）启动核函数，就会包含一份核函数的副本。虽然标准的C++链接过程会从最终的二进制文件中移除重复符号，但CUDA C++的链接过程却会保留编译到每个TU中的核函数副本。
图1. 最终二进制文件中链接的重复核函数实例
为了检查你的动态共享对象（DSO）中是否存在重复的核函数实例化，你可以运行以下命令：
cuobjdump -symbols libcuml.so | grep STO\_ENTRY | sort -b | uniq -c | sort -gb
小贴士： 尽管启用CUDA“可分离编译”（Separable Compilation）可以在一定程度上过滤掉重复的核函数，但它并非一个完美的解决方案。事实上，在某些情况下，默认启用它反而可能增加二进制文件的大小和链接时间。如需了解更多细节，可以参考官方的《快速构建CUDA软件》指南。
通过编程手段消除重复的核函数实例
解决重复实例问题的关键在于：将核函数的定义与其声明分离，确保每个核函数只在一个翻译单元（TU）中被编译。以下是实现这一目标的代码结构范例：
函数声明 (kernel.hpp):
namespace library {
void kernel\_launcher();
}
函数和核函数只在一个TU中编译 (kernel.cu):
#include <library/kernel.hpp>
\_\_global\__ void kernel() {
/// 这里是核函数的具体代码
}
void kernel\_launcher() {
kernel<<<...>>>();
}
请求执行核函数 (example.cu):
#include <library/kernel.hpp>
namespace library {
kernel\_launcher();
}
通过将核函数的定义与声明分离，我们确保它只在一个TU中被编译，并使用一个“启动器”（launcher）构造来从其他TU调用它。这个主机端的封装（wrapper）是必需的，因为不允许在一个TU中添加核函数体，同时在另一个TU中通过包含核函数定义的头文件来启动该核函数。
优化头文件中的共享核函数模板
如果你正在发布一个仅包含头文件的CUDA C++库，或者一个编译后的二进制文件使用了包含函数模板的共享工具核函数，那么你将面临一个挑战：函数模板是在调用点（call site）进行实例化的。
反模式：隐式模板实例化
考虑一个同时支持行主序和列主序二维数组布局的核函数：
namespace library {
namespace {
template <typename T>
\_\_global\__ void kernel\_row\_major(T* ptr) {
// 具体代码
}
template <typename T>
\_\_global\__ void void kernel\_col\_major(T* ptr) {
// 具体代码
}
}
template <typename T>
void kernel\_launcher(T* ptr, bool is\_row\_major) {
if (is\_row\_major) {
kernel\_row\_major<<<...>>>(ptr);
} else {
kernel\_col\_major<<<...>>>(ptr);
}
}
}
这种做法的问题在于，无论用户是否真的需要两种核函数实例，它都会向每一个调用 kernel_launcher 的翻译单元（TU）提供这两种核函数实例。这无疑会增加不必要的二进制文件大小。
推荐模式：显式模板参数
解决方案是将编译时信息作为模板参数暴露出来：
namespace library {
namespace {
template <typename T>
\_\_global\__ void kernel\_row\_major(T* ptr) {
// 具体代码
}
template <typename T>
\_\_global\__ void void kernel\_col\_major(T* ptr) {
// 具体代码
}
}
template <typename T, bool is\_row\_major>
void kernel\_launcher(T* ptr) {
if constexpr (is\_row\_major) {
kernel\_row\_major<<<...>>>(ptr);
} else {
kernel\_col\_major<<<...>>>(ptr);
}
}
}
这种方法引入了“意图性”。如果用户确实需要两个核函数实例，他们可以显式地进行实例化。但大多数下游库通常只需要其中一个，这样就能显著减少二进制文件的大小。
小贴士： 这种方法不仅能带来更小的二进制文件，还能加快编译速度，并可能提高运行时性能，因为它编译的是核函数模板最精简的形式，且模板参数集受到约束。同时，它也允许你根据实例化的模板进行编译时优化。
优化源文件中的核函数模板
即使我们已经成功消除了重复的核函数实例，对于那些包含多种模板类型的大型核函数，我们仍然有进一步优化的空间。
反模式：运行时参数也使用模板参数
在编译二进制文件时，不必要地引入模板参数会创建多个核函数实例。这与在头文件中编写函数模板的思路正好相反，后者是希望有更多的模板。
示例 (detail/kernel.cuh):
namespace {
template <typename T, typename Lambda>
\_\_global\__ void kernel(T* ptr, Lambda lambda) {
lambda(ptr);
}
}
使用方式 (example.cu):
namespace library {
template <typename T>
void kernel\_launcher(T* ptr) {
if (some\_conditional) {
kernel<<<...>>>(ptr, lambda\_type\_1{});
} else {
kernel<<<...>>>(ptr, lambda\_type\_2{});
}
}
}
这种做法必然会在预编译的二进制文件中创建两个核函数实例，徒增文件大小。
推荐模式：将模板转换为运行时参数
在编写核函数模板时，我们应该时刻问自己：“这个模板参数能否转换为运行时参数？”如果答案是肯定的，那么就按照以下方式进行重构：
定义 (detail/kernel.cuh):
enum class LambdaSelector {
lambda\_type\_1,
lambda\_type\_2
};
template <typename T>
struct lambda\_type\_1 {
void operator()(T* val) {
// 执行某种操作
}
};
template <typename T>
struct lambda\_type\_2 {
void operator()(T* val) {
// 执行另一种操作
}
};
namespace {
template <typename T>
\_\_global\__ void kernel(T* ptr, LambdaSelector lambda\_selector) {
if (lambda\_selector == LambdaSelector::lambda\_type\_1) {
lambda\_type\_1<T>{}(ptr);
} else if (lambda\_selector == LambdaSelector::lambda\_type\_2){
lambda\_type\_2<T>{}(ptr);
}
}
}
使用方式 (example.cu):
namespace library {
template <typename T>
void kernel\_launcher(T* ptr) {
if (some\_conditional) {
kernel<<<...>>>(ptr, LambdaSelector::lambda\_type\_1);
} else {
kernel<<<...>>>(ptr, LambdaSelector::lambda\_type\_2);
}
}
}
通过这种方式，我们现在只交付了一个核函数实例，直接将二进制文件大小减少了近一半。这种将模板参数转换为运行时参数的效果，会随着消除的模板实例化“笛卡尔积”的倍数而显著放大。
时效性提醒： 这种方法虽然能加快编译速度，但由于增加了核函数的复杂性，并且减少了编译时优化，可能会在一定程度上牺牲运行时性能。大家在实际项目中需要根据具体场景进行权衡取舍。
立即体验PyPI上的cuML
我们非常高兴能将cuML带到PyPI平台。我们希望本文分享的这些优化技术，能帮助其他使用CUDA C++的团队取得类似的成果。当各位在构建Python接口时，也能将自己的成果分享到PyPI上，共同推动整个生态的繁荣。
新媒网跨境认为，在当今快速变化的数字经济时代，技术创新是驱动跨境业务发展的核心动力。我们鼓励大家积极探索和学习这些前沿技术，不断提升自身实力。如果你想获取更多关于构建CUDA C++库的实用建议，不妨查阅更新后的CUDA编程指南。如果你是CUDA新手，那可以从《更简单的CUDA入门》开始，开启你的高性能计算之旅！
新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。
本文来源：新媒网 https://nmedialink.com/posts/cuml-pip-install-3-steps-cut-30-size.html
