用于训练机器人完成日常任务的新型大型模拟平台

过去几十年来，人工智能(AI)工具(包括用于自然语言处理(NLP)和计算机视觉算法的大型计算模型)的性能一直在快速提升。其中一个原因是，用于训练这些算法的数据集呈指数级增长，收集了数十万张通常从互联网上收集的图像和文本。

另一方面，用于机器人控制和规划算法的训练数据仍然远远不够丰富，部分原因是获取这些数据并不那么简单。因此，一些计算机科学家一直在尝试创建更大的数据集和平台，用于训练各种机器人应用的计算模型。

在最近一篇在服务器arXiv上预先发布并准备在“机器人：科学与系统2024”会议上发表的论文中，德克萨斯大学奥斯汀分校和NVIDIA研究部门的研究人员介绍了其中一个平台，名为RoboCasa。

RoboCasa是一个大型模拟框架，可用于训练通用机器人完成日常环境中的各种任务。

该论文的第一作者朱宇克告诉TechXplore：“人工智能的最新进展很大程度上得益于在海量数据源上训练大型模型。”

“受这些进步的启发，我们寻求开发能够执行各种日常任务的通用机器人的基础模型。RoboCasa旨在提供训练此类机器人基础模型所需的高质量模拟数据。”

Mandlekar最近研究的主要目标是开发一个新的开源模拟平台，以促进机器人算法的训练。

他们的努力最终促成了RoboCasa的开发，它是他们几年前推出的模拟框架RoboSuite的扩展。RoboSuite是该团队用来创建RoboCasa模拟环境的模拟基础设施。

“我们利用生成式人工智能工具来创建多样化的对象资产、场景和任务，”朱解释说。“这些人工智能工具显著提高了模拟世界的多样性和真实感。此外，RoboCasa支持各种机器人硬件平台，并提供包含超过10万条轨迹的大型数据集用于模型训练。”

RoboCasa平台包含数千个3D场景，其中包含150多种不同类型的日常物品以及数十种家具和电器。RoboCasa具有高度逼真的模拟效果，这些模拟效果通过生成式AI工具得到了丰富。

朱和他的同事设计了100项可以训练机器人算法的任务，并为这些任务编写了高质量的人类演示。他们的平台还包括生成有效轨迹和动作的方法，使机器人能够完成这些任务。

RoboCasa使用GPT-4等大型语言模型来创建各种日常任务。图片来源：YukeZhu和SoroushNasiriany

“两个关键发现最让我兴奋，”朱说。“首先，我们展示了一种扩展趋势：随着我们增加(机器生成的)训练数据集的大小，模型的性能稳步增长。其次，通过将模拟数据与现实世界数据相结合，我们发现增强的数据集增强了机器人在现实世界任务中的表现。”