郝彦飞 同济子豪兄-vlm_arm:机械臂+大模型+多模态=人机协作具身智能体 机械臂接入GPT4o大模型,秒变多模态AI贾维斯 通过语音指令,让机械臂指哪打哪。听人话、看图像、找坐标、排动作、定格式 智能体Agent编排动作,多模态视觉大模型理解图像 最后通过手眼标定和逆运动学解算,依次完成动作 具身智能体Agent,让机器能理解人类的复杂指令,实现人机协作 源代码: https://github.com/TommyZihao/vlm_arm 机械臂:大象机器人Mycobo... 开源 机器人
郝彦飞 Open-TeleVision:超远距离沉浸式主动视觉反馈开源操作系统 Open-TeleVision: Teleoperation with Immersive Active Visual Feedback Open-TeleVision:具有沉浸式主动视觉反馈的远程操作 源码地址: https://github.com/OpenTeleVision/TeleVision 官网地址: https://robot-tv.github.io/... 开源 机器人
郝彦飞 Bunny-VisionPro:用于模仿学习的实时双手灵巧遥操作 Bunny-VisionPro is a real-time bimanual teleoperation system that prioritizes safety and minimal delay. It also features human haptic feedback to enhance immersion. High-quality demonstration is colle... AI场景 开源 机器人
郝彦飞 01:The open-source language model computer Hardware The 01 Light is an ESP32-based voice interface. Build instructions are here . A list of what to buy here . It works in tandem with the 01 Server ( setup guide below ) running on your home com... 开源 机器人
郝彦飞 ALOHA 2:斯坦福最强家务机器人ALOHA 2来了,成本不到20万,联手谷歌DeepMind,完全开源 多样化的演示数据集推动了机器人学习的重大进步,但此类数据的灵活性和规模可能受到硬件成本、硬件鲁棒性和远程操作难易程度的限制。我们推出 ALOHA 2,这是 ALOHA 的增强版本,与原始设计相比,它具有更高的性能、人体工程学和坚固性。为了加速大规模双手操控的研究,我们开源了 ALOHA 2 的所有硬件设计,并附有详细的教程,以及具有系统识别功能的 ALOHA 2 MuJoCo 模型。 官网地址: ... MIT开源 机器人
郝彦飞 OpenBot:一个用手机作为低成本机器人的强大项目 OpenBot 利用智能手机作为低成本机器人的大脑。我们设计了一款小型电动汽车,成本约为 50 美元,用作机器人身体。我们适用于 Android 智能手机的软件堆栈支持先进的机器人工作负载,例如人员跟踪和实时自主导航。 应用OpenBot开始工作: Build your own Robot Body 建造你自己的机器人身体 Flash the Arduino Firmware 刷新 Arduino... MIT开源 机器人
郝彦飞 Dobb·E:学习家用机器人操作的开源通用框架 Dobb·E 由四个主要部件组成: 一种名为 The Stick 的硬件工具,可以轻松地在家里收集机器人演示。 名为 Homes of New York (HoNY) 的数据集,包含 150 万个 RGB-D 帧。使用棒在纽约市的 22 个家庭和 216 个环境中收集。 一种名为 Home Pretrained Representations (HPR) 的预训练轻量级基础视觉模型,在 HoNY ... MIT开源 机器人
郝彦飞 OpenVLA:开源视觉机器人模型 OpenVLA是一个 7B 参数开源视觉语言动作模型 (VLA),在 Open X-Embodiment 数据集中的 970k 机器人场景上进行了预训练。 OpenVLA 为通用机器人操作策略设定了新的技术水平。它支持开箱即用地控制多个机器人,并且可以通过参数高效的微调快速适应新的机器人设置。 OpenVLA 检查点和 PyTorch 训练管道完全开源,模型可以从 HuggingFace 下载和微... 开源 机器人