Research on the Design of ROS Inspection Robot Based on Multi-Sensor Fusion
Shopping malls, office buildings and other indoor places often have foreign objects piled up and fire smoke occur, these indoor places as an important activity area, in order to eliminate the potential safety hazards. It is necessary to frequently inspect indoor places such as shopping malls and office buildings, but manual inspection is inefficient and cannot be inspected around the clock. The intelligent inspection robot can efficiently and round-the-clock inspect the inspection area. The ROS inspection robot based on multi-sensor fusion is designed and studied, which includes the preprocessing of lidar data, the mapping algorithm based on particle filtering, and the AMCL is used for the relocation of the indoor inspection robot. Combined with the global path planning algorithm and the DWA local path planning algorithm, the navigation and obstacle avoidance of indoor inspection robots are realized. The depth camera combined with the improved YOLOv7 detection algorithm inspects whether there are potential safety hazards such as fire, smoke and pedestrians relying on elevators in the room. Experiments show that the indoor inspection robot has good functions of mapping, navigation and obstacle avoidance, and visual detection. The research results have a certain reference value for the research of indoor inspection robots.
Inspection Robot
国外对移动巡检机器人的相关研究起步较早,斯坦福大学的Stanford Cart是一款在上世纪70年代开始设计的移动机器人,它拥有自主导航和避障能力,被认为是早期移动机器人研究的重要里程碑。斯坦福大学的TurtleBot项目是一个基于ROS的移动机器人平台,用于室内巡检和导航任务的研究和实验,推动了机器人在家庭和办公等室内环境中的应用。国内的移动巡检机器人产业起步虽然起步较晚,但是在这方面的进步也十分地迅速,中国科学院沈阳自动化研究所的研究团队在基于ROS系统的室内移动巡检机器人研究中取得了一定成果,探索了地图建模、自主导航、视觉监测等方面的技术。
针对厂房、银行和大型超市等需要人工巡逻的场所,胡兵等
因此,一套成熟、可移植性强、稳定的移动机器人是实现室内安全巡检的前提。基于上述内容设计研究一款移植性强、远程控制、可视化显示、实时监控、稳定性强的多传感器融合的ROS巡检机器人。该机器人可实现室内的地图建模、自主导航、实时监控等功能
设计一款多传感器融合ROS巡检机器人,主要分为硬件和软件两大部分
如
该巡检机器人的底盘结构如
巡检机器人硬件部分如
激光雷达、IMU、里程计以及监测的图像的数据在内置PC系统中进行处理,对巡检机器人的控制命令通过PC系统控制并且监测界面可视化。
软件部分主要包括ROS巡检机器人的上位机界面的设计与机器人建图定位与自主导航、路径规划算法以及检测等相关算法的设计
视觉检测模块使用改进的YOLOv7的RGB图像目标检测方法,其主要结构如
其次为了减小MSC模块的参数量,将得到的特征图沿通道方向分成4个特征图。随后,将这些特征映射回拼接操作前的大小,然后对它们进行拼接,以进一步扩展图像的感受野。接下来,通过应用1 × 1卷积来增加通道的数量,从而控制网络的通道数量,有效控制模型的复杂性。最后,引入残差结构,缓解YOLOv7网络层较深导致梯度消失的问题,提高网络识别目标任务的泛化能力。结构如
改进YOLOv7的RGB图像目标检测算法主要用于ROS巡检车检测室内是否存在火灾烟雾以及行人倚靠电梯等危险行为的发生。室内巡检机器人检测到室内是否发生火灾烟雾以及行人依靠电梯等行为对于室内安防具有十分重要的意义,该功能的运用可以有效消除室内的大部分安全隐患。
SLAM即时定位与地图构建,常用的建图算法
(1)
(2) 地图更新:根据传感器的数据与运动轨迹,计算地图概率更新底图。
(3) 粒子权重计算:每个粒子的权重是 :
(2)
(4) 自适应重采样:如果频繁地进行重采样的话,粒子会过度退化。Gmapping算法有自适应重采样,当有效粒子的数量低于设定合适的阈值 ,才会进行一次重采样。其中, 的计算过程如下式
(3)
自主导航
如
A*算法
A*算法的函数是由当前节点到起点和终点的距离组成,公式如下:
(4)
其中
是起点到终点的最大估计里程,
是从起点到当前节点的最大实际里程,
是从当前节点到终点的最小估算里程,一般使用曼哈顿距离或者欧几里得距离
(5)
其中 、 是当前节点 , 的坐标, 、 为终点的 、 的坐标。
由于室内场所的障碍物不是很密集分布,空间也不是非常大。A*算法非常适合室内场所的全局路径规划,可以满足实际场景的运用。
在巡检机器人自主导航的过程中,可能会存在有新的障碍物甚至动态障碍物出现
巡检机器人位置与速度的关系表示为:
(6)
(7)
(8)
(9)
式中 是 轴方向的速度, 是 轴方向的速度, 是前进时间, 是角度的变化量, 是巡检车的旋转角度, 是评价函数, 是相应评定函数的权重。
对评价函数归一化处理可得:
(10)
(11)
(12)
式中
是速度评定函数,
是距离评定函数,
是方位角评定函数
从
在进行系统测试时,需要使用Rviz这个可视化工具,Rviz是一款用于ROS系统的三维可视化工具,在Rviz中,可以使用XML文件编写机器人、周围物体属性的描述程序,并在界面中呈现。同时,Rviz还可以通过图形化实时显示机器人传感器的信息、运动状态和周围环境的变化等。将巡检机器人放置在需要建图巡检的区域,使用手柄或者手机远程控制巡检机器人开始建图,Jetson Nano开发板控制雷达获取周边环境的点云信息,接收惯性测量单元获取角度信息以及光电编码器生成位置信息,Jetson Nano开发板将得到的信息结合Gmapping算法得到最短时间内的地姿和地图,但因为不可避免的偏差累积问题,还需后端优化并通过增量式扫描和后优化的里程计和地图信息,以及闭环测试来降低全局地图的偏移现象,从而得到全局角度一致性地图,并在Rviz上可以实时的观测建图过程。建图如
巡检机器人的导航功能模块主要是测试其路径规划和实时避障的能力。这主要是依靠全局路径规划和局部路径规划算法
对于检测行人倚靠电梯与火灾烟雾情况的发生,系统采用了改进YOLOv7算法对人员倚靠电梯行为和火灾烟雾情况实验检测。在实现改进YOLOv7网络的搭建后,在D-Fair数据集上进行模型训练
训练周期为200,使用余弦退火的学习率防止模型过拟合,模型的训练损失和验证MAP、如
其实验结果如
对于行人检测数据集训练,将改进网络模型在LLVIP数据集中进行模型训练,包含样本包含30,976张图像即15,488对,训练周期为100。分别对使用余弦退火
类别 |
实例/张 |
P |
R |
MAP50 |
MAP50-95 |
全部 |
5261 |
0.89 |
0.817 |
0.887 |
0.562 |
火灾 |
2346 |
0.951 |
0.889 |
0.954 |
0.624 |
烟雾 |
2915 |
0.828 |
0.745 |
0.919 |
0.484 |
模型 |
mAP_0.5% |
Parameters/M |
FLOPs/G |
epoch |
batch size |
数据集 |
YOLOv5-n |
94.4 |
6.765 |
8.2 |
200 |
16 |
LLVIP |
YOLOv5 |
95.6 |
7.02 |
15.9 |
150 |
8 |
LLVIP |
YOLOv5-s |
95.7 |
6.02 |
14.9 |
200 |
16 |
LLVIP |
YOLOv7 |
92.4 |
6.01 |
13.1 |
150 |
8 |
LLVIP |
YOLOv9-geln |
95.4 |
31.4 |
117.8 |
200 |
16 |
LLVIP |
0ur |
96.3 |
4.14 |
8.6 |
200 |
16 |
LLVIP |
在开源数据集LLVIP中,分别对YOLO系列算法进行对比实验,实验数据见
在目标区域导航的过程中,对该区域进行巡检,检测是否有火灾或者其他危险状况的发生。本次实验巡检区域选择在电梯等候区,将检验机器人是否能检测到火灾与人员依靠电梯行为。并且系统通过局域网络,将目标检测结果在设计的界面上实时显示。实验表明,准确检测到火灾与行人依靠电梯。检测结果如
当前室内巡检机器人系统技术研究已成为国内外研究焦点,针对室内的复杂环境下机器人安全巡检中存在着运动控制和路径规划的困难。本文设计一款基于ROS系统的巡检机器人,采用STM32F4与Jetson Nano作为控制芯片,通过优化算法实现系统多传感器融合与运动控制。同时设计可视化界面实现人机交互,并将所有功能集成并显示在界面上,方便用户操作与监测。结果表明,该机器人能够完成建图与自主导航,并且能够准确检测到行人依靠电梯危险行为和火灾烟雾等突发情况。实现对商场等室内场所的部分重点区域进行全天候无人智能巡检,该研究为巡检机器人行业提供了一种可靠的方案。
自然科学基金资助项目(62063009);国家重点研发计划(2023YFB4302100);江西省重大科技研发专项(20232ACE01011);中国科学院赣江创新研究院自主部署项目(E255J001)的支持;国家重点研发计划:低成本小运量磁浮客货运输系统(2023YFB4302100);江西省重大科技研发专项:小运量永磁悬浮轨道交通系统关键技术研究(20232ACE01011)。
*通讯作者。