谷歌的ROSIE数据增强策略通过语义想象体验扩展机器人学习

谷歌的ROSIE数据增强策略通过语义想象体验扩展机器人学习 2023-03-02 14:50:04 876

近年来,在学习技术方面取得了重大进展,使机器人能够执行各种操作任务,并具有对新场景的强泛化能力。然而,这一进展在很大程度上依赖于大规模数据集,这些数据集的构建和扩展具有挑战性,因为它们通常需要人工演示或工程级的自主数据收集方案。

在新论文《用语义想象的经验扩展机器人学习》中,谷歌和谷歌Research的机器人技术团队提出了用语义想象的经验(ROSIE)进行机器人学习,这是一种通用的语义感知数据增强策略,通过利用文本到图像的基础模型来生成用于机器人学习的数据,绕过了苛刻的数据获取过程。

生成扩散模型可以模拟复杂的分布,并在文本到图像生成方面表现出巨大的能力。虽然这些模型以其在计算机视觉和自然语言处理任务方面的性能而闻名,但它们也可用于数据增强。

易百纳社区

受现成的文本引导扩散模型(其先验由大量真实世界训练数据提供信息)功能的启发,该团队探索了这些模型如何通过在现有机器人数据集之上生成语义上有意义的增强来扩展训练数据来改善机器人学习和泛化。

该团队的方法首先使用开放的词汇分割模型定位图像的增强区域,并根据这种自然语言提示生成与语言相关的目标区域的掩码。给定增强文本,ROSIE 然后使用 Imagen 编辑器对所选蒙版执行修复,以根据增强文本指令添加看不见但语义准确的对象。

在他们的实证研究中,该团队评估了ROSIE在各种机器人操作和具体推理任务方面的应用。结果证实,ROSIE的数据增强提高了学习模型对新对象看不见的任务的泛化能力,并提高了它们对干扰项和背景的鲁棒性。

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
红包 点赞 收藏 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区