科学与教育 · 作者自述

Real2Gym:机器人与人手视频的场景重建对照

Kerui Ren、Yingxiang Xu、Kaiwen Song、Linning Xu、Bo Dai、Mulin Yu、Tao Lu / Real2Gym 团队 · GitHub

作者实际重建对照图,依次为 GPT-5.6 Sol、GPT-6 Astra、Ours(Real2Gym)与 Source Video。只有第二行为直接 Astra 基线;第三行是另含视觉初始化与反馈迭代的混合系统,第四行为输入视频。
作者实际重建对照图,依次为 GPT-5.6 Sol、GPT-6 Astra、Ours(Real2Gym)与 Source Video。只有第二行为直接 Astra 基线;第三行是另含视觉初始化与反馈迭代的混合系统,第四行为输入视频。 · Kerui Ren、Yingxiang Xu、Kaiwen Song、Linning Xu、Bo Dai、Mulin Yu、Tao Lu / Real2Gym 团队

作品说明

将真实机器人或人手操作视频与三维场景重建、动作执行连接起来。完整对照图同时展示 Astra 直接基线、Real2Gym 混合流程及源视频;项目站提供多视角 Real / Blender / MuJoCo 录像供观察。

产物

  • 机器人 / 人手视频到三维场景
  • 作者重建对照图
  • Blender / MuJoCo 流程源码

提示词与任务

公开情况

已记录提示词或过程入口;完整内容请回源核对。

已公开的任务与过程请回作者原文查看。

提示词 / 过程 ↗

来源与核查

证据说明

作者 README 明确 GPT6 Astra 协调 Blender 场景重建、MuJoCo 动作适配和反馈修改;项目站另区分直接 Astra 基线与 Real2Gym。后者使用 Pi3X / SAM2 初始化几何,并在代理执行中引入 SAM3 / GraspNet,不能把整张图或混合流程优势统一归因于 Astra。

核查过程

匿名完整 GET 原团队项目站及 GitHub API 的 README、提示词;GitHub 网页直取返回403,浏览检索可读,不当作公开仓库不可用。实际对照 PNG 完整 GET 200 / image/png / 1,400,416字节 / 2290×1036,Content-Length一致,SHA-256 e89ffc949fd4f3d224dcb20170373b83636398ebe4ca88e84565dda9ed8f3311,Pillow Image.load 全图解码并实际查看。项目站为成果展示,不计实际交互演示。未执行 Blender、MuJoCo 或机器人。

观察与局限

本轮确认作者公开的完整对照图及项目站可达,并保留各行职责边界;项目站列出24项重建任务与研究结果,但未独立复现模型、任务成功率、物理或真机执行。examples/ 目录属于可编辑请求模板,不能作为预计算成功结果。最早公开日期未确认,sourceDate 保持 null。

作品权利

本轮 GitHub API 未返回仓库许可证;原论文、源数据、机器人资产、代码与结果媒体按各自权利和原仓库第三方说明核对。预览保留原图与各方法标注,外链团队站点,不纳入本库 MIT。