英伟达这次可真下了血本，打算拿出200亿美元去把Groq的技术给拿下。据华尔街日报讲，这次合作主要是想让AI推理跑得更顺畅，特别是给OpenAI这种头部企业撑腰。为什么要这么干呢？因为现在大家都在拼命用大型语言模型，可算完模型之后，真正让系统干活的推理环节反而成了老大难问题。数据显示，推理这一块的算力消耗已经占到了整个AI应用的60%以上，而且还在不停地变多。 英伟达特意在圣何塞办GTC开发者大会之前放了个大招，新出的处理器里塞进去了Groq的核心技术。Groq以前靠着自己搞出来的LPU芯片赚足了眼球，那个芯片的设计特别厉害，既能让反应很快（低延迟），又能每秒干好几万亿次的计算活儿，特别适合处理那种实时对话的应用。 既然签了这份大单子，说明英伟达是真认可Groq这条技术路线。知情人士透露说，新处理器把Groq的架构深度融合进去后，在省电和速度上会有很大提升。对于像OpenAI这种每天要处理海量用户请求的公司来说，这就意味着一台服务器的承载能力可能要翻好几倍。 以前英伟达主要靠GPU在模型训练上独领风骚，不过在推理这块儿一直没怎么发力。这次战略转向其实挺说明问题的，AI行业的重点已经不再是单纯地训练更大的模型了，而是怎么让这些模型在实际运行中跑得又快又稳。分析人士觉得，这种专用推理芯片要是普及开来，整个AI的基础设施格局都得变一变。 至于具体的细节和参数，估计还得等到GTC大会那几天才会揭晓。这次合作到底能不能把AI推理的效率给拉上来，咱们就盯着看吧。