这只机器狗能听懂人话,靠着摄像头和ai就能规划路线、认物体

德克萨斯农工大学的工程学院有学生们做了一件大事,他们搞出了一只由AI驱动的机器狗,打算用它来帮忙处理紧急情况。这事儿在奥斯丁被KXAN报道了,最近这几年AI这东西越来越厉害,已经渗透到各行各业了。A&M的这组学生就想把它用到应急响应上来,于是他们就让这只AI机器狗开始干活。 你别说,这狗挺聪明的,不光听话,还能看、能记住、甚至能“思考”。据新闻稿讲,它俩主导这个项目的Sandun Vitharana和Sanjaya Mallikarachchi可真是厉害,这只机器狗“永远不会忘记去过的地方和见过的东西”。Vitharana是硕士生,Mallikarachchi是博士生,他们给这机器狗装上了记忆系统,这样它就能记住以前走过的路,以后导航的时候就不用再瞎摸了,效率高多了。这种特性在搜救任务里特别有用,特别是那种没地图也没GPS信号的地方。 这只狗还能听懂人话,靠着摄像头和AI就能规划路线、认物体。专家说它其实就是个地面机器人,用的是多模态大语言模型(MLLM)驱动的导航系统。这个系统能看懂画面,生成路线决策,还能结合高级推理和路径优化来进行策略规划。其实在以前那种乱七八糟的环境里搞自主导航挺难的,主要是效率和适应能力都得跟上。 特斯拉的机器人出租车现在也在搞无人测试了,但这个机器狗有点不一样。它结合了定制的MLLM技术和基于视觉记忆的系统,让它表现得更像个人类一样。像人类那样反应迅速、深思熟虑、决策周到。它会快速躲开碰撞,然后用MLLM分析眼前的画面,规划出最佳路线。 维塔拉纳在新闻稿里提到,虽然有些学术或商业系统也在搞语言或视觉模型和机器人结合的东西,但他们还没见过像他们这样用MLLM做结构化记忆导航的系统。特别是用自定义伪代码来指导决策逻辑的方法。 马利卡拉奇和维塔拉纳一开始就是想试试MLLM能不能解释摄像头拍来的视觉数据。他们还得到了国家科学基金会的支持呢。后来他们又把语音命令给加上去了,搞出了一个很自然、很直观的系统。 展望未来,这种控制结构说不定能成为类人机器人的标配呢。项目顾问Isuru Godage博士说他们愿景的核心是把MLLM放到边缘设备上去用。这样一来,机器狗就能有即时的高水平情境意识和情感智能了。这就让人和机器的互动更顺畅了。他们的目标是让这个技术不仅是工具,而是真正懂人类的伙伴。 这机器狗以后不光能用在救灾上,像医院、仓库这些大地方的效率也能提高。它的导航系统还能帮视力障碍的人或者让它去探雷区、侦察危险区域。Isuru Godage博士说这让系统能无缝地弥合人和机器之间的鸿沟。他们想让这个技术变成所有未映射环境中最复杂也最准备好的应急响应系统。