国际期刊投稿平台
登录 | 注册
当前位置: 首页 > 科学研究与应用 > 基于多传感器融合与AI视觉的灭火机器人
科学研究与应用

科学研究与应用

Journal of Scientific Research and Applications

  • 主办单位: 
    未來中國國際出版集團有限公司
  • ISSN: 
    3079-7071(P)
  • ISSN: 
    3080-0757(O)
  • 期刊分类: 
    科学技术
  • 出版周期: 
    月刊
  • 投稿量: 
    5
  • 浏览量: 
    658

相关文章

暂无数据

基于多传感器融合与AI视觉的灭火机器人

Design of Intelligent Firefighting Robot System Based on Multi-Sensor Fusion and AI Vision

发布时间:2026-05-21
作者: 邢卜元 :黑龙江工商学院 黑龙江哈尔滨; 王灿 :哈尔滨信息工程学院 黑龙江哈尔滨; 张书铭 :哈尔滨工业大学 黑龙江哈尔滨;
摘要: 针对传统消防方式在复杂火场环境中存在响应慢、人员安全风险高、感知能力弱等问题,本文设计并实现了一款基于多传感器融合与人工智能视觉识别的智能灭火机器人系统。系统以STM32单片机为核心控制器,集成烟雾、火焰、超声波等传感器,引入自适应加权数据融合算法,提升火源探测精度与环境适应性。同时,融合OpenCV图像识别与卷积神经网络(CNN)模型,实现火情的精准识别与定位。导航方面,采用SLAM技术与增量式A*算法相结合的策略,实现复杂环境下的自主巡线与避障。通信采用“5G+Mesh自组网”双链路冗余方案,保障信息传输的可靠性。实验结果表明,该系统在复杂环境中具有良好的探测精度、响应速度与自主作业能力,为智能消防装备的工程化应用提供了可行方案。
Abstract: In response to the problems of slow response, high personnel safety risks, and weak perception capabilities of traditional fire-fighting methods in complex fire scenes, this paper designs and implements an intelligent fire-extinguishing robot system based on multi-sensor fusion and artificial intelligence visual recognition. The system uses an STM32 microcontroller as the core controller, integrates sensors such as smoke, flame, and ultrasonic, and introduces an adaptive weighted data fusion algorithm to improve the accuracy of fire source detection and environmental adaptability. At the same time, it integrates OpenCV image recognition and convolutional neural network (CNN) models to achieve precise identification and positioning of fire conditions. In terms of navigation, a strategy combining SLAM technology and incremental A* algorithm is adopted to achieve autonomous line tracking and obstacle avoidance in complex environments. Communication uses a dual-link redundant scheme of "5G + Mesh self-organizing network" to ensure the reliability of information transmission. Experimental results show that this system has good detection accuracy, response speed, and autonomous operation capabilities in complex environments, providing a feasible solution for the engineering application of intelligent fire-fighting equipment.
关键词: 智能灭火机器人;多传感器融合;AI视觉识别;自主导航;物联网
Keywords: intelligent fire-extinguishing robot; multi-sensor fusion; AI visual recognition; autonomous navigation; internet of things

引言

随着城市化进程加快,火灾事故频发,传统消防救援方式在高温、浓烟、有毒气体等极端环境中面临巨大挑战。消防人员进入火场存在极高的安全风险,且因视线受限、信息获取不足,往往难以快速定位火源并采取有效灭火措施。因此,研发具备自主探测、智能导航与远程操控能力的灭火机器人,已成为当前消防救援装备智能化转型的重要方向。

近年来,国内外在消防机器人领域取得了显著进展。美国、日本、欧洲等发达国家率先开展了消防机器人系统研究,逐步实现了从遥控操作向自主智能作业的跨越。国内高校如清华大学、上海交通大学等也在视觉识别、激光雷达导航等方面开展了相关研究,部分企业已推出商业化产品。然而,现有系统在火场环境适应性、多传感器协同、自主决策能力等方面仍存在不足,需集成更先进的感知与智能控制技术。

本文设计并实现了一款基于多传感器融合与AI视觉的灭火机器人,融合多传感器探测、AI视觉识别、自主导航与多模态通信技术,旨在提高火源识别精度、环境适应能力与应急响应效率,为复杂火场中的灭火作业提供高效、安全的智能化解决方案。

1 系统总体设计

1.1 系统架构

基于多传感器融合和AI视觉的灭火机器人系统是以模块化为基础的,从整体架构设计分为4个层面,分别为感知层、控制层、决策层和应用层。

感知层是系统的基础信息输入端,在接入烟雾、火焰、超声波、红外以及高清摄像的基础之上,实时监测获取火场环境下的烟雾浓度值、火焰光谱值、障碍探测距离、可见光图像等特征信息数据。考虑到采集数据的同步性与实时性,各传感器分别采用各I/O接口的方式独立与STM32主控芯片连接,以中断的方式触发采集,以确保在火场环境下动态发生任意时刻无关键信息的遗漏。

控制层以STM32F103C8T6为主要核心,承担多源融合处理,对执行机构进行驱动与通讯的管理,主频72MHz,拥有128KB的Flash和20KB的SRAM,可同时运行多个实时任务,控制层以基于FreeRTOS的轻量级嵌入式操作平台为载体进行任务运行处理,将传感器采集、传感器融合、运动控制、通讯处理等诸多任务都单独开辟线程去运行,保证了系统负载较高时运行的稳定性。

决策层的AI火情识别算法和路径规划模型的运行可以达成智能判断与自主导航的功能,其中火情识别模块就是在OpenCV和Tensorflow lite的框架上在嵌入式端完成火焰识别检测和火焰识别分类功能;路径规划模块是使用SLAM建图融合A*算法的最优化求解路径的模型,可以根据自身当前的位置信息计算到火源目标点的最优路径。

应用层是通过与云平台的5G/Mesh通讯模块进行云层交互,从而提供远程监视操作面板。云端搭载智慧消防管控平台模块,提供多机器人协同调度,火情数据分析,决策辅助服务。

1.2 核心控制模块选型

系统主控:STM32F103C8T6(ARM Cortex-M3,72M主频),内部USART、I2C、ADC等各种外设接口非常丰富,能够满足各类传感器接口同时采集、执行器件控制等各种操作要求,相对于传统的51单片机等控制芯片具有计算能力强、拓展丰富程度高、稳定等优点,所以应用于智能机器人上。

1.3 通信方案设计

本系统选用“5G+Mesh自组网”双链路冗余的通信方案,双链路冗余协作双网工作的方式,首先是公网覆盖范围内的5G通信高清视频数据和传感器数据通过云端AI计算辅助进行分析,当公网覆盖情况中断或进入地下室类、隧道类等公网盲区环境时自动退改为Mesh自组网的连接,机器人互为中继节点增大通讯距离。尽最大程度地保障机器人在火场环境下的可靠性通信。

2关键技术实现

2.1 多传感器融合探测与定位

2.1.1 传感器系统构成

(1)烟雾传感器(MQ-2):检测空气的烟雾浓度,达到阈值将会报警,表示即将有火情。

(2)火焰传感器(Fiying):火焰传感检测火焰发出的红外波长是760∼1100nm的光,它的反应时间快,是几毫秒级别的,可以辅助定位火源。

(3)超声波传感器(HC-SR04):探测障碍物的距离,它的探测范围是2cm∼400cm,可保障机器人行进过程中的安全。

(4)红外传感器(E18-D80NK):采用红外发射模块与红外接收模块,探测距离范围是3∼80cm,指向角为≤15^∘,它的特性与超声波传感器特性正好互补,可以提高可靠性,帮助避障。

2.1.2 自适应加权数据融合算法

系统引入自适应加权数据融合算法,对每个传感器的置信度进行了动态的权重分配。传感器的测量值z_i(t)通过系统动态加权融合到系统总体的测量数据当中。定义传感器i在t时刻的权重为w_i(t),则传感器i在t时刻的测量值z_i(t)所获得的融合后估计值̂z(t)为:

权重w_i(t)结合传感器历次测量方差进行动态调节,当因烟雾浓度升高影响光学传感器时系统自动增大超声波和红外权重,当火焰特征突出时火焰传感器数据权重也随之增加,算法根据权重获取更加可靠的环境状态量,提升火源探测距离精度和识别精确率,相对误差控制在正负百分之三点钟以内,达到1+1>2的协同感知效果。

2.1.3 舵机辅助探测

为有效提升探测范围,机器人在机器人前方装配SG90舵机,带动超声波传感器和火焰传感器进行左右摆动探测(其中角度可调),对火场进行动态的探测扫描。其控制方法为使用PWM控制,其中舵机转动角度0~180∘对应的PWM信号占空比范围为0.5ms~2.5ms,系统选用扫描周期为2s,左右摆动范围为±60∘,有效规避了传感器探测的盲区。

2.2 基于AI视觉的火情识别

2.2.1 图像采集与处理

系统采用高清摄像头(OV2640,分辨率1600*1200),其通过DCMI接口与STM32连接,实时感知火场图像数据,图像处理基于OpenCV库,使用HAAR级联分类器算法对火焰特征进行检测,其通过采集大量的正负样本(火焰图像与非火焰图像各5000张)训练一个能识别火焰纹理、边缘特征的级联分类器,在算力较低的情况下检测速度较快。通过实验证明,HAAR级联算法与使用火焰传感器的方案相比,在明暗不同的环境下具有更好的检测效果,检测范围更大,误报率更低,在100*100的检测窗口上的平均检测时间为45ms。

2.2.2 集成卷积神经网络识别

为进一步提升火情识别精准度,又在含有CNN的DA深度学习模型的基础上进行提升。使用移动端轻量级网络Mobile NetV2,拥有约3.4M的轻量级参数,可以进行嵌入式部署。采用组合架构集成学习的模型,使用了多尺度卷积,结合多尺度特征融合,适应多场景下不同尺度的火焰区域、不同燃烧物的火源特征。采用空间注意力机制,增强网络关注图像中火焰区域,抑制其他位置信息对网络带来的影响,可以大幅提高识别率。模型采用公开数据集FlameDataset进行测试,准确度可达96.8%,比单传感器方案精度提升了约15%。

2.2.3 视觉与热成像融合

系统将OpenCV处理过的可见光图像和红外热成像数据进行配准和融合,得到“增强火场视图”,配准算法选用的为基于特征点的SIFT匹配,将可见光和热成像图像进行匹配,匹配后进行简单的加权平均得到像素级融合结果,融合后的图像既有视觉上的细节,也叠加了温度信息,为AI识别提供了更多的数据维度,同时也为远程消防员对火场情况提供直观的态势感知。

2.3 自主导航与路径规划

2.3.1 巡线与环境建图

机器人可按照设计路线进行日常巡检,如石油化工企业、地下管廊、仓库等,同时采集周围数据,基于激光雷达(RPLIDAR A1,范围12m)和深度视觉(IntelRealSenseD435)实现火场3D建图(SLAM,实时定位和建图,即刻建模),使用SLAM算法的Gmapping地图构建基础,基于里程计与激光雷达实现栅格地图创建,为消防后火灾有效应对做准备工作。

2.3.2 路径规划算法

在火情应急响应中系统选用增量式A算法对全局路径进行优化处理,增量式A(LPA)与传统A算法有所不同的是当环境发生部分变化时,增量式A算法不需要进行重新路径计算处理,系统只对有变化部分进行重新处理,计算效率较传统A算法提高了约40%。在全局路径规划结束之后,在已知火情环境信息的基础上再进行最优路径的局部规划,规划方法选择DWA(动态窗口)算法,DWA算法在速度空间(v,ω)采样多组速度,通过评价值选出速度空间的最优轨迹,以便机器人在向火源行进过程中实时对环境中突然出现的障碍物体进行躲闪,使机器人安全有效到达目标火源区域。

2.4 灭火执行与控制

2.4.1 自适应喷射装置

机器人可装载鸭嘴形式的水炮或干粉炮(流量可调,例如:150~200L/s),根据火源的类别或火势的强弱选择机器人的喷射形式和流量。两自由度云台由两台舵机控制(水平:0∘~180∘,俯仰:-30∘~+30∘),经PID控制算法的快速精细跟踪后,火源坐标由视觉与传感器融合后输出,云台控制器计算偏转角度,使喷射头对准火源中心,提高灭火效率。

2.4.2 继电器控制与响应机制

当火焰传感器和视觉识别协同判定存在火源,并且二者置信度大于0.85时,STM32主控芯片经由GPIO触发继电器,水泵开始喷水或干粉喷射。系统既可实现自动灭火,亦可控制干粉喷射装置进行遥控灭火,消防人员可通过手机APP或消防人员的操作终端进行灭火遥控干预。系统从火源确认到喷射开启不超过500ms。

2.5 多模态人机交互与云平台

2.5.1 客户端控制方式

(1)手动终端控制:通过手持遥控终端(基于Android系统),消防员可远程观察火场视频、控制机器人移动与喷射操作,适用于复杂环境下的精确操控。

(2)语音指令控制:系统集成LD3320语音识别模块,支持离线识别“前进”“后退”“左转”“右转”“停止”“灭火”等指令,响应时间小于200ms,提升应急响应效率。

2.5.2 云端协同平台

(1)APP操控端:实现移动端实时监控与机器人控制,支持多机切换与视频预览。

(2)Web端管理中心:用于数据统计、任务调度与设备管理,提供火情热力图与机器人轨迹回放功能。

(3)中心服务器集群:采用Nginx+Redis+MySQL架构,实现数据存储与分析,支持多机器人协同作业与历史数据回溯。

通过云平台,可将多台消防机器人纳入统一调度体系,实现火情联动响应与资源优化配置。

3 系统测试与结果分析

3.1 测试环境与方案

为验证系统性能,搭建模拟火场测试环境,设置障碍物(纸箱、木板)、烟雾源(烟雾发生器)与火焰源(酒精灯)。测试内容包括传感器采集精度、避障响应、火源识别准确率、通信稳定性与灭火执行效率。每种测试重复10次,取平均值作为最终结果。

3.2传感器模块测试

表1传感器模块测试表
模块 测试内容 结果
超声波测距 30cm内障碍物识别与停止 通过
烟雾传感器 烟雾浓度超阈值报警 通过
火焰传感器 打火机模拟火源识别与定位 通过
红外传感器 硬质障碍物探测 通过

3.3视觉识别与融合测试

在明暗交替环境下(照度50~200lux),HAAR级联分类器对火焰的识别准确率达到92.3%,CNN集成模型识别准确率达到96.8%,融合视觉与热成像后,识别精度进一步提升至98.1%。相比单纯使用火焰传感器的方案,视觉融合方案显著降低了误报率(从15%降至3%),并扩大了探测范围(从3m提升至8m)。

3.4 通信与操控测试

在5G网络覆盖区,视频传输延迟低于200ms,丢包率小于1%;切换至Mesh自组网模式后,三台机器人可实现逐级中继通信,最远距离达300m,数据包接收率大于95%。手机APP与语音控制均能稳定响应,系统整体运行可靠。

3.5 系统总体评价

综合测试结果表明,该机器人在火源识别精度(98.1%)、避障成功率(96%)、自主导航成功率(94%)与远程控制响应时间(<200ms)等方面均达到设计目标,能够适应复杂火场环境,具备较高的工程应用价值。

4结语

本文基于STM32平台,融合多传感器探测、AI视觉识别、自主导航与多模态通信技术,设计并实现了基于多传感器融合与AI视觉的灭火机器人系统。系统通过自适应加权数据融合算法提升了火源探测精度,通过集成CNN模型增强了火情识别能力,通过SLAM与A*算法实现了复杂环境下的自主导航。测试结果表明,系统具备良好的环境适应性、响应速度与作业可靠性。

未来,可进一步优化系统的小型化与集成度,增加视频监控与多机协同能力,探索无人机与地面机器人的空地协同灭火模式,推动智能消防装备向更高层次的自动化、网络化方向发展。

参考文献:

  1. [1] 高翌乔,梁池森,陈卓娅. 智能消防机器人的设计和应用[J]. 数字技术与应用,2023,41 (08):170-172.
  2. [2] 刘超. 消防机器人灭火救援技术应用研究[J]. 消防界(电子版),2024,10 (23):25-27.
  3. [3] 王斌,冯爽,陈祥. 基于Arduino单片机与LabVIEW的消防机器人设计[J].机械制造与自动化,2024,53 (05):213-217.
  4. [4] Shuo Z, Ruochao W,Yu T , et al. Motion analysis of the fire-fighting robot and trajectory correction strategy [J]. Simulation modelling practice and theory,2023,125.
  5. [5] Xiaosheng Z, Gaopeng Z, Xin X, et al.Design of a small sweeping robot based on STM32[J].Journal of physics: Conference series,2022,2173(01).
  6. [6] Shuo Z, Jiantao Y, Ruochao W, et al. Design of intelligent fire-fighting robot based on multi-sensor fusion and experimental study on fire scene patrol [J]. Robotics and autonomous systems,2022,154.
联系我们
人工客服,稿件咨询
投稿
扫码添加微信
客服
置顶