google deepmind和youtube 联手搞了个大动作,给咱们的检索速度来了个948倍的飞跃!

话说你知道吧,现在 Google DeepMind 搞了个大动作,给咱们的检索速度来了个 948 倍的飞跃!以前那种老掉牙的嵌入搜索,现在都要靠边站了。那个基于大语言模型(LLM)的“生成式检索(GR)”,现在越来越火。不过啊,这模式用起来也有点头疼,模型动不动就瞎说,搞出一堆根本不存在的商品 ID,或者违反库存逻辑。 这下好了,Google DeepMind 和 YouTube 联手,搞出了个叫 STATIC 的东西。这东西有个学名,叫“用于约束解码的稀疏转移矩阵加速 Trie 索引”,听起来挺绕口,其实就是为了解决那乱码问题的。 核心技术上,他们真是下了功夫。你想啊,以前检查这些约束全靠前缀树(Trie),这玩意儿在 GPU 或者 TPU 上跑起来慢得像蜗牛。STATIC 直接把这棵树压扁成一个静态压缩稀疏行(CSR)矩阵。这下可好了,原来的复杂运算变成了向量化操作,硬件一看这是自己擅长的活儿,速度自然就上去了。 在30亿参数的大模型上测了一下,单步延迟才 0.033 毫秒!这跟以前那种慢吞吞的 CPU 检索比起来,那就是上千倍的提升。就算跟现在最先进的硬件加速方案相比,STATIC 也有足足 40 倍的领先优势。 这技术到底行不行?看看 YouTube 实测就知道了。他们把 STATIC 搬到视频推荐系统里了,用来确保推荐的视频都是最近七天的新鲜货。结果呢?新鲜视频的播放量直接涨了 5.1%,点击率(CTR)也跟着涨了不少。 更关键的是,STATIC 还帮咱们解决了“冷启动”的难题。以前推荐那种从未见过的全新商品,模型经常会翻车。现在有了这个精准的解码约束,准确率直接突破零大关。