美光256GB内存样品！AI能效再降66%

美光开始为客户提供256GB SOCAMM2内存样品，单CPU2TB内存成为数据中心可能

近期，美光（Micron）发布了行业内首批256GB SOCAMM2单元样品，相较六个月前推出的192GB模块，其容量提升了33%，为人工智能数据中心的内存容量和能耗效率带来了重要进步。

在当前的AI数据中心性能讨论中，速度和算力无疑是焦点所在，例如每秒处理的任务数量等。然而，性能提升的另一条关键战线，则在内存容量与能效优化层面。美光此次推出的新一代SOCAMM2内存单元，突破了原有模块的容量上限，并且具备更高能效。据透露，美光已将样品配送到客户手中，为数据中心实现每个CPU可以支持2TB内存的目标奠定了基础。以某些标杆配置为例，例如典型的Nvidia NVL72服务器机架，这样的配置能为其36个CPU累计提供72TB内存，展现了较大的应用潜力。

此次新模块不仅提高了容量，其能效表现也相当值得关注。相比标准的RDIMM（带寄存器的双列直插内存模块），SOCAMM2的功耗预计将降低66%。同时，其还支持日益流行的液冷散热技术，使得模块能够稳定运行在越来越高密度的AI服务器中。

技术升级及实际效能提升

美光表示，256GB SOCAMM2模块是首个采用32Gb LPDDR5X单片体设计（monolithic die）的产品。这意味着模块内部的存储单元及相关电路全部整合在单片芯片上，相较传统设计进一步提升了性能和效率。

不仅是在容量和功耗方面，SOCAMM2模块带来的实际性能提升也备受期待。在单个处理器可以直接调用更大内存的条件下，AI模型运行时能显著扩展上下文窗口大小。更大的上下文窗口意味着模型可以处理更复杂的输入信息，从而使关键指标——如TTFT（生成第一字节所需时间）——得到优化。这将直接提升AI系统响应速度，例如更快速地回答用户提问等。

AI领域对上下文依赖性日益增强，在这种背景下，内存容量的每一次提升都具有重要意义。无论是单个服务器还是大规模集群的构建，每增加1GB的内存都直接影响整体性能。而美光推出的这款256GB模块，很可能迅速成为全球各地AI服务器部署中的核心配置。

SOCAMM2与行业合作推动的技术合作

SOCAMM2标准模块的开发，源于Nvidia与多家存储巨头（如美光、三星及SK海力士）之间的技术合作。这一标准最初由Nvidia提出，目的在于为高效能服务器配置优化内存方案。然而，标准的初次尝试曾因高密度服务器散热问题陷入困境。后续Nvidia与专业存储厂商合作，实现了SOCAMM2模块在高密度服务器中以更低功耗和更高性能运行。

此次256GB版本的发布，不仅标志着SOCAMM2标准的技术突破，也预示了未来模块密度的持续提升将继续推动AI服务器市场的发展。

新媒网（公号: 新媒网跨境发布），是一个专业的跨境电商、游戏、支付、贸易和广告社区平台，为百万跨境人传递最新的海外淘金精准资讯情报。

本文来源：新媒网 https://nmedialink.com/posts/micron-256gb-memory-boosts-ai-efficiency.html