机械臂视觉抓取与检测系统
目前,基于视觉的抓取工作可分为两类:
从视觉感知到动作执行的端到端方法与包含目标定位、位姿估计、抓取检测和运动规划的分阶段方法。机器人抓取过程中具有四个关键任务：目标定位、位姿估计、抓取检测和运动规划，如图所示。详细来说，目标定位任务包括不分类的目标定位、目标检测和目标实例分割。该任务提供了输入数据中目标物体的区域。位姿估计任务主要是估计6D物体的姿态，包括基于对应的方法、基于模板的方法和基于投票的方法，它提供了已知物体的抓握姿态的生成。抓取检测任务包括二维平面抓取方法和6自由度抓取方法，其中前者被限制为从一个方向抓取。这三个任务可以通过不同的组合来完成机器人抓取。很多物体姿态估计方法不需要目标定位，它们联合进行目标定位和物体姿态估计。许多抓取估计方法不需要目标定位和物体姿态估计，它们以端到端的方式进行抓取估计。完成上述三个任务后，当机器人的手爪、手臂或本体在有障碍无的环境中运动时，为了达到某个目标位置和状态，完成指定任务，就需要在空间确定一条无碰撞的运动路线，这就是运动规划。
RRCAgent系统采用Python编程语言，满足不同平台需求(包括Windows、Linux)，以B/S模式，通过前端与后端集成开发，采用开放的、模块化、多层架构的设计思想。RRCAgent机器臂抓取系统由：抓取检测系统、抓取规划系统和控制系统三个子系统组成。
根据抓取流程需求，功能层如下：
1. 设备调试，包括机械臂的运行测试，摄像头的标定与读取信息
2. 手眼标定，抓取时需要将物体相对于相机的坐标转换为相对于机械臂的坐标，我们需要提前确定转换矩阵
3. 抓取检测，机械臂视觉抓取检测最关键的步骤，选取检测算法，对摄像头获取的信息进行处理，得到物体相对于相机的位姿
4. 运动规划，根据实际情况，选择合适的规划策略
5. 执行抓取，发出抓取指令，控制机械臂的抓取
