回复工控零开始:能把网络数据利用得这么好,研究人员太有本事了
下载贤集网APP入驻自媒体
来自 Google DeepMind、卡内基梅隆大学和斯坦福大学的研究团队提出了一种解决方案,通过生成人类视频从网络数据中预测运动信息,并根据生成的视频调整机器人策略。他们展示了如何利用在易于获得的网络数据上训练的视频生成模型来实现通用化。 他们提出的 Gen2Act 方法将以语言为条件的操作视为零样本人类视频生成,然后执行以生成的视频为条件的单一策略。为了训练策略,他们使用的机器人交互数据要比训练视频预测模型所使用的数据少一个数量级。