由人工智能驱动的机器人变得越来越复杂，并逐渐被引入到广泛的现实环境中，包括商场、机场、医院和其他公共场所。未来，这些机器人还可以帮助人类做家务、办事和其他繁琐或耗时的工作。

然而，在将机器人部署到现实环境之前，需要在模拟环境中对控制机器人动作并允许它们处理特定任务的人工智能算法进行训练和测试。虽然现在有很多平台可以训练这些算法，但很少有人考虑到机器人在完成任务时可能检测到的声音并与之交互。

斯坦福大学的一组研究人员最近创建了Sonicverse，这是一个模拟环境，用于训练包含视觉和听觉元素的具体AI代理(即机器人)。该平台在ICRA2023上发表的一篇论文中介绍(目前可在arXiv预印本服务器上获得)可以极大地简化算法的训练，这些算法旨在在依赖相机和麦克风来导航其周围环境的机器人中实施。

“虽然我们人类通过看和听来感知世界，但之前很少有研究通过音频解决具体学习问题，”开展这项研究的研究人员之一高若涵告诉TechXplore。“现有的嵌入式AI模拟器要么假设环境是安静的，代理人无法检测到声音，要么只在模拟中部署视听代理人。我们的目标是引入一个新的多感官模拟平台，具有逼真的集成视听模拟，用于培训家庭代理人既能看又能听。”

Sonicverse是由Gao和他的同事创建的模拟平台，它对给定环境的视觉元素和代理在探索该环境时检测到的声音进行建模。研究人员希望这将有助于在更“逼真的”虚拟空间中更有效地训练机器人，提高它们在现实世界中的后续表现。

“与之前的工作不同，我们希望证明经过模拟训练的代理可以在具有挑战性的现实环境中成功执行视听导航，”高解释道。“Sonicverse是一个新的多感官模拟平台，可以实时模拟3D环境中的连续音频渲染，它可以作为许多需要视听感知的具体化AI和人机交互任务的测试平台，例如视听导航。“

为了评估他们的平台，研究人员用它来训练模拟版本的TurtleBot，这是一种由WillowGarage创建的机器人，可以在室内环境中有效地四处移动并到达目标位置而不会与障碍物发生碰撞。然后，他们将在模拟中训练的AI应用到真实的TurtleBot上，并在办公环境中测试其视听导航功能。

“我们通过模拟到真实的传输展示了Sonicverse的真实感，这是其他视听模拟器无法实现的，”高说。“换句话说，我们证明了在我们的模拟器中训练的代理人可以在现实环境中成功地执行视听导航，例如在办公室厨房中。”

研究人员进行的测试结果非常有希望，这表明他们的模拟平台可以训练机器人使用视觉和听觉刺激更有效地处理现实世界的任务。Sonicverse平台现在可以在线使用，很快就会被其他机器人团队用来训练和测试具体的AI代理。

“具有多种模式的具身学习具有为未来家用机器人解锁许多新应用的巨大潜力，”高补充道。“在我们接下来的研究中，我们计划将多感官对象资产(例如我们最近的工作ObjectFolder中的那些资产)集成到模拟器中，以便我们可以在空间级别和对象级别对多感官信号进行建模，并结合其他感官模式例如触觉感应。”

版权说明：本站所有作品图文均由用户自行上传分享，仅供网友学习交流。若您的权利被侵害，请联系我们

标签：机器人环境模拟