AI 视觉抓取机器人

01 / INTRODUCTION 项目说明

项目从 Gemini 2 深度数据采集开始，将深度、RGB 和点云接入 ROS2。视觉节点完成目标检测和三维定位后，把目标坐标转换到机械臂坐标系，通过运动规划生成抓取轨迹。

工作流覆盖硬件连接、相机与手眼标定、模型推理、运动规划和真机验证。所有关键步骤均关联 Wiki、Projects 和 Forum，便于逐项复现。

核心目标

从感知到执行

构建一条可观察、可复现、可改进的视觉抓取闭环。

坐标转换示例

1point_camera = deproject(depth_frame, camera_matrix)2point_robot = hand_eye @ point_camera3grasp_pose = plan_grasp(point_robot)

02 / PREREQUISITES 前置条件

开始前需要完成硬件连接、系统环境准备和基础 ROS2 验证。

01 / HARDWARE安装开发硬件

相机、计算平台和机械臂固定到稳定工作台。

02 / SOFTWARE准备 Ubuntu + ROS2

建议 Ubuntu 22.04 LTS 与 ROS2 Humble。

03 / KNOWLEDGE掌握 Python 基础

能够运行脚本、安装依赖和阅读终端日志。

硬件

奥比中光 Gemini 2打开链接 Seeed AI 计算平台打开链接 DOBOT 自动化机械臂打开链接 强脑机械手打开链接

软件应用和在线服务

Ubuntu 22.04 LTS打开链接 ROS2 Humble打开链接 Orbbec SDK打开链接 Python 3.10打开链接 LeRobot打开链接 Hugging Face Hub打开链接

实现步骤

连接并验证 Gemini 2

完成 USB 3.0 连接、设备枚举、深度流和 RGB 流验证。

完成相机与手眼标定

获取相机内参、外参和机械臂坐标系转换关系。

运行视觉检测与三维定位

检测目标，将深度信息反投影为相机坐标，并转换到机械臂坐标系。

规划抓取并验证结果

生成抓取位姿，执行轨迹并记录成功率、重复定位和失败原因。

项目结果

完成从识别、定位到抓取的真机闭环

在标准桌面场景下完成多目标抓取验证，并保留每个步骤的日志、参数和复现说明。

张三 / Zhang San

机器人视觉开发者，专注 3D 感知、ROS2、机械臂抓取和具身智能数据采集。

我成功复现了

3 comments

开发者B 2 hours ago

Gemini 2 的标定步骤很清楚，请问机械臂重复定位精度大概是多少？

点赞 3 · 回复

开发者C 1 hour ago

建议补充 ROS2 Humble 与 OpenCV 的版本组合。

点赞 1 · 回复

RoboXhub 30 min ago

项目已收录到官方精选，相关 Wiki 文档同步更新。

官方 · 点赞 5