做网站电话销售说辞,关键词排名怎么做好,做民宿怎么登录网站,网站怎么建立支付平台01-VILA背景简介
2022年#xff0c;Michael Ahn, Anthony Brohan等人提出“Do as i can, not as i say: Grounding language in robotic affordances”算法。本文指出虽然大型语言模型可以编码关于世界的丰富语义知识#xff0c;而这些知识对旨在对用自然语言表达的高级、时…01-VILA背景简介
2022年Michael Ahn, Anthony Brohan等人提出“Do as i can, not as i say: Grounding language in robotic affordances”算法。本文指出虽然大型语言模型可以编码关于世界的丰富语义知识而这些知识对旨在对用自然语言表达的高级、时间扩展指令采取行动的机器人非常有用但是语言模型的一个显著弱点是缺乏上下文基础这使得在给定的现实世界上下文中很难利用它们进行决策。例如要求语言模型描述如何清洁泄漏可能会产生合理的叙述但它可能不适用于需要在特定环境中执行此任务的特定代理如机器人。作者建议通过预先训练的行为来提供这种基础这些行为用于调节模型以提出既可行又适合上下文的自然语言动作。机器人可以充当语言模型的“手和眼睛”而语言模型提供有关任务的高级语义知识。
2023年Wenlong Huang, Fei Xia等人提出“ Grounded decoding: Guiding text generation with grounded models for robot control”算法。大型语言模型LLM的最新进展表明通过使用自回归模型进行预训练可以学习和利用互联网规模的知识。不幸的是将这种模型应用于具有具体代理的环境如机器人是具有挑战性的因为它们缺乏物理世界的经验无法解析非语言观察结果并且不知道机器人可能需要的奖励或安全约束。另一方面从交互数据中学习的基于语言的机器人策略可以提供必要的基础使代理能够正确地位于现实世界中但由于可用于训练它们的交互数据的广度有限这种策略受到缺乏高级语义理解的限制。因此如果我们想利用语言模型中的语义知识同时仍将其置于具体环境中就必须构建一个既可能根据语言模型又可以根据环境的基础模型实现的动作序列。作者将其定义为一个类似于概率滤波的问题解码一个在语言模型下具有高概率和在一组基础模型目标下具有高可能性的序列。
2023年Zhengyuan Yang等人提出“The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision)”算法。本文分析了最新的模型GPT-4V来加深大家对LMM的理解。分析的重点是GPT-4V可以执行的有趣任务包括测试样本以探测GPT-4V功能的质量和通用性、其支持的输入和工作模式以及提示模型的有效方法。在探索GPT-4V的方法中作者策划和组织了一系列精心设计的定性样本涵盖各种领域和任务。对这些样本的观察结果表明GPT-4V在处理任意交织的多模式输入方面前所未有的能力及其能力的通用性使GPT-4V成为一个强大的多模式通才系统。此外GPT-4V理解输入图像上绘制的视觉标记的独特能力可以产生新的人机交互方法如视觉参考提示。
02-VILA算法简介
对于现实场景中的机械臂而言学习并理解任务规划能力是一件比较复杂的任务。最近的进展表明大型语言模型LLM拥有广泛的知识可用于机器人任务特别是在推理和规划任务中。然而由于LLM缺乏世界基础和依赖外部可供性模型来感知环境信息而受到限制。作者认为任务规划器应该是一个固有的、统一的多模式系统。
本文介绍了机器人视觉语言规划ViLa它是一种简单有效的远程机器人任务规划方法它利用视觉语言模型VLM生成一系列可操作的步骤。ViLa将感知数据直接集成到其推理和规划过程中从而能够深入理解视觉世界中的常识知识包括空间布局和对象属性。它还支持灵活的多模式目标规范并自然地包含视觉反馈。ViLa可以在现实世界和模拟环境中解决各种复杂的长期任务。真实模拟环境中进行大量评估结果表明ViLa优于现有的基于LLM的规划者突出了其在一系列开放世界操作任务中的有效性。03-VILA算法流程
上图展示了VILA算法的整体流程详细的步骤如下所述首先将用户的指令和当前的视觉观察图像送入GPT-4V大模型中作者利用VLMGPT-4V通过思维链推理来理解环境场景 然后利用GPT-4V生成一系列可操作的步骤如图中的任务相关的目标与位置信息 接着这个计划的第一步由一个基本策略执行在该策略的基础上生成接下来的任务规划策略如图中的3~7所示 最后将已执行的步骤添加到完成的计划中从而实现动态环境中的闭环规划方法具体的操作步骤由机械臂来执行。
上图展示了VILA的执行说明左和SayCan的决策过程说明右。在“拿来空盘子”任务中机器人必须首先针对蓝色盘子中的苹果和香蕉执行重新定位操作然而SayCan的第一步是直接拿起蓝色的盘子。在准备艺术课任务中当剪刀应该放在桌子上时SayCan错误地拿起剪刀并将其放在盒子里。04-VILA算法应用场景 04.01-理解视觉世界中的常识
ViLa擅长了解空间布局或对象属性的复杂任务。这种常识性知识几乎渗透到机器人领域的每一项感兴趣的任务中但以前基于LLM的规划者在这方面一直做不到。04.02-理解各种视觉目标 ViLa支持灵活的多模式目标规范方法。它不仅能够利用语言指令而且能够利用各种形式的目标图像甚至能够融合语言和图像来有效地定义目标。 04.03-理解视觉反馈
ViLa以直观自然的方式有效利用视觉反馈知识在动态环境中实现稳健的闭环规划。04.04-模拟仿真实验
上图展示了ViLa可以按照高级语言指令指定的某些所需配置重新排列表上的对象。05-VILA算法性能评估
05.01-主观效果评估
上图展示了VILA在图像目标条件任务上的执行效果。在“排列寿司”任务中VILA根据参考图像生成排列寿司的计划。在“挑选蔬菜”任务中场景涉及一张桌子桌子上有一个粉色盘子、一个黑色寿司盘子、一块披萨盘子和一个绿色小吃盘子。在这里VILA从进球图像中的手指推断出蔬菜应该放在粉红色的盘子上。上图展示了VILA在“查找装订器”任务上的执行效果。通过在每个步骤结合视觉反馈和重新规划当VILA在顶部抽屉中没有找到缝合器时它能够继续探索底部抽屉从而成功地定位缝合器。上图展示了VILA算法在基于RAVENS的模拟环境中的执行效果。作者设计了16个不同的任务分为两类方块和保龄球左和字母右。更详细的效果请看效果展示部分。05.02-客观指标评估
上表展示了多个STA算法在需要丰富的常识性知识的评估任务上面的效果。tong通过观察与分析我们可以发现VILA在需要了解空间布局上半部分和对象属性下半部分的任务中表现出卓越的性能。上图展示了VILA和基线算法的一些错误类型。通过利用基于视觉世界的常识性知识VILA显著减少了理解错误的比例。上表展示了开环VILA与闭环VILA在多个不同任务上面的执行效果。通过利用视觉反馈闭环VILA的效果显著优于开环变体。上表展示了多个STA算法在在见过和未见过的模拟环境中的平均成功率。通过观察与分析我们可以得出以下的初步结论VILA在可见和不可见任务中始终优于其它基线方法。 06-VILA算法效果展示
