AI 视觉抓取机器人
使用 Gemini 2、Jetson 和 DOBOT 完成视觉识别与抓取，覆盖数据采集、模型训练、部署和真机验证。
Apache-2.0
01 / INTRODUCTION 项目说明
项目从 Gemini 2 深度数据采集开始，将深度、RGB 和点云接入 ROS2。视觉节点完成目标检测和三维定位后，把目标坐标转换到机械臂坐标系，通过运动规划生成抓取轨迹。
工作流覆盖硬件连接、相机与手眼标定、模型推理、运动规划和真机验证。所有关键步骤均关联 Wiki、Projects 和 Forum，便于逐项复现。
核心目标
从感知到执行
构建一条可观察、可复现、可改进的视觉抓取闭环。
坐标转换示例
代码块
Python
point_camera = deproject(depth_frame, camera_matrix)point_robot = hand_eye @ point_cameragrasp_pose = plan_grasp(point_robot)02 / PREREQUISITES 前置条件
开始前需要完成硬件连接、系统环境准备和基础 ROS2 验证。
相机、计算平台和机械臂固定到稳定工作台。
建议 Ubuntu 22.04 LTS 与 ROS2 Humble。
能够运行脚本、安装依赖和阅读终端日志。
硬件
软件应用和在线服务
实现步骤
连接并验证 Gemini 2
完成 USB 3.0 连接、设备枚举、深度流和 RGB 流验证。
完成相机与手眼标定
获取相机内参、外参和机械臂坐标系转换关系。
运行视觉检测与三维定位
检测目标，将深度信息反投影为相机坐标，并转换到机械臂坐标系。
规划抓取并验证结果
生成抓取位姿，执行轨迹并记录成功率、重复定位和失败原因。
项目结果
完成从识别、定位到抓取的真机闭环
在标准桌面场景下完成多目标抓取验证，并保留每个步骤的日志、参数和复现说明。
机器人视觉开发者，专注 3D 感知、ROS2、机械臂抓取和具身智能数据采集。
相关项目推荐
更多项目 →
评论
3 commentsC
开发者C 1 hour ago
建议补充 ROS2 Humble 与 OpenCV 的版本组合。
点赞 1 · 回复RX
RoboXhub 30 min ago
项目已收录到官方精选，相关 Wiki 文档同步更新。
官方 · 点赞 5
Gemini 2 的标定步骤很清楚，请问机械臂重复定位精度大概是多少？
点赞 3 · 回复