视觉导航网球捡球机器人控制系统设计

  • 视觉导航网球捡球机器人控制系统设计已关闭评论
  • 30 views
  • A+
所属分类:AGV设计资料
摘要

设计了基于视觉导航网球场捡球机器人控制系统,系统以STM32F407VET6为主控芯片,通过摄像头采集网球场景的图像,利用网球的颜色特征和轮廓特征进行网球的识别、定位和跟踪,以IR2014结合H桥作为底盘电机驱动电路,在视觉导航下引导捡球小车向目标移动,通过耙轮机构完成捡球作业。实验结果表明,该系统能够识别开放场景中的所有网球,并引导捡球小车完成网球的拾取。

为了提高网球训练的效果,减轻训练人员的频繁捡球的负担,本文介绍一种网球自动拾取机器人开发技术,通过摄像头在网球场地进行网球的视觉识别和定位,通过视觉引导捡球小车移动至网球处并自动拾取网球。目前捡球类机器人开发多采用视觉进行网球识别和导航[1-2],通过提取网球的颜色、纹理等特征利用神经网络、支持向量机等进行网球的目标识别与跟踪,通过智能优化算法进行捡球小车的路径规划-,网球拾取机构设计多采用虎钳式夹持机构,或者通过机械臂加抓手的形式56],在小车行进控制中一般都采用PID控制。本文在上述方法的基础上采用基于网球颜色特征和轮廓特征进行目标的识别,可以识别网球场地范围内的所有网球,基于局部区域搜索进行目标的视觉跟踪,利用耙轮进行网球的拾取,拾取效率大大提高。

1 系统总体方案设计

捡球小车采用四轮差速驱动小车底盘,搭载机器人箱体、单目视觉摄像头、网球收集耙轮、网球提升机构、控制系统等。工作过程中捡球小车通过采集网球场景视频,进行网球目标的识别和定位,采用就近取球的路径规划策略,通过相机标定和坐标变换,获取最近网球与捡球机器人的相对位置,在视觉导航下向网球位置移动,对后续帧图像进行局部区域的目标再识别来实现视觉跟踪,到达网球位置后通过收集耙轮得网球耙入小车箱体底部,经提升机构提升到箱体上部的网球收集箱。视频信号采集与处理系统采用ARM Cortex-A8内核的S5PV210主板,移植ARM-Linux操作系统,OpenCV图像处理与机器视觉库,进行视频信号的采集和处理;控制系统采用ARM Cortex-M4内核的STM32F407VET6为主板,进行捡球小车的运动控制系统的设计。

2 控制系统设计

控制系统设计主要由两个部分组成,分别是视频信号采集与处理系统和小车的运动控制系统,两者通过串行总线进行通信。视频信号的采集和处理系统采用成熟的S5PV210主板搭载摄像头作为视频采集和处理模块,并加载视觉应用程序,运动控制系统包括电机驱动模块(包括底盘四轮差速驱动、提升轮驱动、耙轮驱动)。电源管理模块、人机交互模块和通信模块等,系统设计框图如图1所示。

视觉导航网球捡球机器人控制系统设计

2.1主控模块设计

系统主控模块采用ARMCortex-M4内核的STM32F407-VET6芯片,STM32F407VET6是ST意法半导体公司生产的基于Cortex-M4内核的高性能单片机,该芯片工作电压1.8~3.6V,168MHz工作频率,17个定时器、6组USART通信接口、3组12位ADC,内部集成了512kB的ROM与192kB的SRAM。片上资源具备了构建系统主控模块的所有需求。通过引脚PA9、PA10与视频信号采集与处理系统进行USART通信,完成目标物体的位置信息的传递。利用TIM1定时器产生PWM,其中引脚PE10、PE11、PE12、PE13与2路底盘电机驱动板连接,控制2路直流电机的工作。利用TIM2与TIM3定时器进行正交解码,涉及引脚有PA0、PA1与PA6、PA7到对2路直流电机进行速度脉冲的测量。利用TIM4定时器产生PWM,使用对应通道引脚PD12、PD13、PD14、PD15,对耙轮电机与提升电机进行驱动。

2.2视觉信号采集电路

采用S5PV210与OV7725完成视觉采集功能,S5PV210采用ARM Cortex-A8内核,ARMV7指合集。对视觉信号采集与处理方面,采用MPEG-1/2/4、H.263、H.264等格式进行视频的编解码。内建高性能PowerVRSGX5403D图形引黎和2D图形引擎,提升了图像处理的运算能力。OV7725提供单片VGA摄像头与影像处理器所有功能。通过SCCB总线控制,可以输出整帧、子采样、取窗口等方式的各种8位分辨率数据,最高可达30帧/s,支持自动曝光控制、自动增益控制、自动白平衡等功能。利用的S5PV210内自带FIMC驱动OV7725工作。视觉信号采集模块与主控模块的接口电路图如图2所示,OLED显示器显示视频图像,也可以作为调参的人机接口。

视觉导航网球捡球机器人控制系统设计

2.3电机驱动电路

小车底盘电机驱动方式采用是4个MOS管组成H桥驱动电路,单板典型最大电流160A。增加总线驱动芯片74LVC245,提高信号驱动能力,同时隔离MOS管和单片机,保护单片机芯片。电机输出端增加压敏电阻,防止电机瞬间换向产生峰值电压进而损坏其它芯片,考虑到死区时间与高边导通电压使用IR2104作为全桥驱动芯片。以PD12与PD13作为一组进行举例说明,通过设置对应引脚的PWM占空比可以实现电机的正反转和制动,当PD12输出正常的PWM波形、PD13输出低电平时,直流电机正转,当PD13输出正常的PWM波形、PD12输出低电平时,直流电机反转,修改PWM占空比大小完成修改转速快慢,电机H桥驱动部分电路如图3所示。

视觉导航网球捡球机器人控制系统设计

2.4其它外围电路

系统电路设计还包括采用电池组供电的电源管理电路,为电机、主控系统和信号采集系统分别供电,电路采用LM2940-5.0,将电池组的+12V电压转成+5V,用AMS1117-3.3稳压电路将+5V转成+3.3V;人机交互系统采用OLED显示模块和4个独立按键,实现系统调试时的参数设置和显示;用于底盘电机测速的编码器接口电路,耙轮电机和提升轮电机驱动电路等,视频信号采集和处理模块电路不作具体说明,只提供如图2所示的IIC接口电路。

3 算法设计

3.1视觉识别与定位算法

通过安装在小车车头顶部的摄像头采集网球场景的图像,摄像头感光材料的温度变化和自然场景环境光照变化等因素使得获取的图像存在大量的噪声,采用高斯滤波对单帧图像进行平滑滤波,通过滤波可以平滑网球颜色,轮廓特征也更加明显。摄像机获取的图像用RGB颜色模型表示,HSV颜色模型相比于RGB模型更易于对色彩进行分割,HSV颜色空间的H分量能很好地区分网球颜色与场地背景颜色的差异,但是很难区分网球与场地白色标线,而RGB颜色模型中的B分量可以很好地区分网球与场地标线,通过对比试验,结合HSV模型的H分量和RGB模型的B分量分别进行阀值分割和合成,相比较与其它阀值化操作取得了更好的效果。经过二值化后的图像如图4b所示。

视觉导航网球捡球机器人控制系统设计

二值化后的图像前景目标中包含了场地线部分,网球相较于其它的前景目标具有明确的圆形轮廓特征,可以通过Canny算法进行边缘检测,根据边缘图像通过Hough变换进行网球的圆形轮廓检测,考虑到程序运行的时间效率,本文采用目标物体的致密性(即目标区域的周长平方与区域面积之比)特征进行目标识别。实验表明,基于致密性轮廓特征的网球识别算法能够识别出全部前景目标中的网球,且屏蔽了全部的非网球目标。通过形态学运算中的连通分量提取实现对各个网球区域的标记,求取各连通区域质心作为各个网球的像素坐标,质心坐标获取并标记如图4c所示。

3.2机器人控制算法

运动目标跟踪可以描述为在捡球机器人的移动过程中,针对当前帧识别的目标物体,在后续帧中快速搜索定位目标物体的过程。随着捡球小车(摄像头)向最近距离网球的靠近,根据运动估计最近网球目标只会出现在以摄像头为中心的扇形区域,根据前文所述的基于网球的颜色特征和形状特征,在扇形的局部视域下,进行网球目标的再次识别和定位。通过相机标定和坐标换算,获取最近网球相对于摄像机的相对方位(e,d),通过PID控制驱动捡球机器人直线行进至目标位置拾取网球。

4 结束语

实验结果表明,小车可以识别并定位视觉场景中的所有网球,并在视觉引导下进行网球的拾取。后续设计考虑进一步更新系统的软硬件设计,在视觉导航中进行智能化的路径规划,以及多个捡球小车协同工作的多智能体路径规划问题。

参考文献

[1]尹宏鹏,陈波,柴毅,等.基于视觉的目标检测与跟踪综述[J].自动化学报,2016,42(10):1467-1490

[2]王天雷,王柱,周昌,等.基于OTSU算法的BP神经网络网球识别方法[J].机电工程技术,2018,47(2):15-19

[3]廖雨翔.智能移动收球机器人的控制系统及路径规划研究[D].合肥:中国科学技术大学,2015

[4]曹洁,耿振华.一种改进蚊群算法在捡球机器人多目标路径规划中的应用[J].小型微型计算机系统,2015,36(10):2384-2389

[5]MAO Yanbing.Design of tennis picking intelligent robot orienta-tion system[J].Machine building & automation,2009,38(2):54-58

[6]韩峥,刘华平,等.基于Kinect的机械臂目标抓取[J].智能系统学报,2013,8(2):149-155

[7]陈章宝,鲍伟超.两轮自平衡小车的研究与设计[J].蚌埠学院学报,2016,5(5):1-5

抱歉,此资源仅限赞助会员下载,请先
注意:本站资源多为网络收集,如涉及版权问题请及时与站长联系QQ:2766242327,我们会在第一时间内与您协商解决。如非特殊说明,本站所有资源解压密码均为:agvba.com。
weinxin
微信公众号
agvba是一个分享AGV知识和agv案例视频的网站。