waymo 公布世界模型,能把龙卷风、大象跑过马路

Waymo给大家放了个大招,这次公布了自家的世界模型,能把龙卷风、大象跑过马路这种稀奇古怪的事儿都给模拟出来。AI辅助的Waymo就基于谷歌Genie 3搞了这个东西,生成的3D场景很逼真,能搞定大象、龙卷风甚至还有人穿着恐龙头套扮Cosplay这种少见的情况。IT之家消息,Alphabet旗下的自动驾驶公司Waymo在6号公布了这个计划。这个世界模型是靠它兄弟公司DeepMind研发的Genie 3来支撑的。一般自动驾驶公司搞模拟的时候,都是从收集到的道路数据开始从头训练,这就导致很多非常罕见的事件数据缺失。Waymo跟DeepMind合作后,先把Genie 3的丰富知识给纳入进来。他们又在这个基础上做了后续训练,把海量的2D视频信息转成Waymo自己硬件支持的LiDAR信号,这就让模型能生成各种场景。它有三种主要控制手段:让车怎么开、场景怎么布置、还能用语言来控制(这里主要指环境背景的调整)。除了基础版外,他们还有更高效的变种能支持长时间模拟。