美光科技公司宣布了业界首个高容量的LPDRAM模块,这就是256GB SOCAMM2。把这个最新版本的产品给客户送去进行测试,美光再次证明了它在低功耗服务器内存市场的领先地位。这个256GB模块把以前192GB的极限给大幅提升了。SOCAMM2是由美光和英伟达合作开发的,目的是为了解决AI应用中对内存容量的需求。这次的推出也给AI数据中心带来了革命性的变化,特别是把低功耗内存容量给解放出来。把整个SOCAMM2解决方案放到英伟达GTC 2026大会上展示,这次展会将是这个解决方案首次亮相。美光还提到了Vera Rubin,这款基础设施产品将成为首批采用SOCAMM2标准的产品之一。 现在的AI工作负载需要大量的模型参数、宽的上下文窗口还有持久化的键值(KV)缓存。这些要求迫使数据中心需要重新设计系统架构。为了满足这些需求,核心计算在数据强度、并发性还有内存占用方面都在不断发展。把每颗8通道CPU连接到这个新模块上,就可以把2TB LPDRAM给提供出来,这样就可以帮助AI服务器轻松处理长上下文窗口了。而且通过采用这个新方案,长上下文推理的首Token时间(TTFT)也提升了2.3倍。 把这个方案给应用在智能体AI工作负载上的时候效果非常明显。除了智能体AI之外,独立CPU应用也是核心关注点之一。这次推出256GB SOCAMM2模块也意味着美光要把一部分DRAM供应转向这个产品。不过这个转变也可能给其他通用DRAM产品比如GDDR7造成影响。样品已经开始向客户发货了。 从GTC 2026大会上看出来,SOCAMM2作为一种专门为AI应用设计的DRAM模块已经进入了市场。在AI领域中,内存已经成为了延迟和上下文至关重要工作负载中的重要资产。