引言

城市消防目标检测旨在从图像或视频中自动识别火焰、烟雾及其他火灾相关目标，并给出其类别与空间位置。随着城市监控网络、物联网感知设备和边缘计算终端不断普及，基于视觉的消防检测逐渐成为智慧消防系统的重要技术路线。与传统点式烟感、温感设备相比，视觉检测具有覆盖范围广、信息直观、可远程联动等优势，能够在火情早期为预警、研判和应急处置提供辅助依据。

然而，城市消防场景具有明显复杂性。火焰属于非刚性目标，边界形态随燃烧状态、风向和拍摄视角不断变化；烟雾呈弥散状分布，边缘模糊，易与雾气、蒸汽、阴影等背景混淆；远距离小火点在图像中占比极低，经过网络下采样后细节容易丢失。此外，不同场景之间存在显著域偏移，室内、室外、车辆、森林、工业等火灾场景在光照、背景纹理、目标尺度和遮挡关系上差异较大，模型在同分布测试中取得的较高精度，往往难以直接迁移到真实未知场景。

近年来，深度学习目标检测算法快速发展，尤其是以YOLO系列为代表的单阶段检测器，在检测速度和模型结构简洁性方面表现突出，适合消防监控的实时性需求。但单一视觉模态仍难以充分表达火灾场景中的高层语义，如火灾类型、目标状态、数据来源和场景属性等。图像文本多模态学习为解决该问题提供了新的思路：文本描述能够补充视觉信息难以直接表征的语义先验，引导模型关注火焰颜色、尺度、场景类别和风险属性，从而提升复杂背景下的判别能力。基于此，本文围绕多模态消防目标检测的关键技术进行综述，并结合跨场景泛化需求分析未来发展趋势。

1 城市消防目标检测任务特点

1.1 目标形态复杂且尺度变化明显

消防目标与通用目标检测中的车辆、行人等刚性目标存在明显差异。火焰没有固定几何结构，其颜色、亮度、轮廓和纹理会随燃烧物、燃烧阶段及环境条件快速变化；烟雾则具有扩散性和半透明性，边界模糊，难以获得稳定纹理。此类特征使得模型难以依靠固定模板或单一局部纹理完成稳定识别。

目标尺度变化也是消防检测中的关键难点。近距离大面积燃烧区域通常语义明显，容易被模型识别；而火灾早期的小火苗、远距离楼宇窗口火点、车辆局部起火区域等目标，往往只占据少量像素，经过卷积神经网络多次下采样后有效信息被削弱，导致漏检风险增加。因此，小目标检测分支、高分辨率输入和多尺度特征融合是消防检测模型优化的重要方向。

1.2 背景干扰强且跨场景差异突出

城市环境中存在大量与火灾目标视觉相似的干扰因素，如车灯、路灯、广告牌、建筑反光、夕阳光晕和高亮装饰物等。这些干扰目标在颜色和亮度上接近火焰，容易造成误检。烟雾检测同样受到雾气、云层、灰尘和蒸汽等影响，模型需要同时具备局部特征识别能力和全局语义判断能力。

跨场景差异进一步增加了模型部署难度。室内火灾常伴随弱光、遮挡和小尺度明火；室外火灾背景开放，光照变化强烈；车辆火灾受到车体结构和金属反光干扰；森林火灾则存在植被纹理、高亮天空和大范围烟雾遮挡。若训练数据无法覆盖所有场景，模型容易学习到特定背景的统计偏差，在未知场景中出现性能下降。

2 深度学习消防目标检测方法进展

2.1 两阶段与单阶段检测框架

基于深度学习的目标检测方法大体可分为两阶段检测器和单阶段检测器。两阶段方法通常先生成候选区域，再对候选区域进行分类和边界框回归，检测精度较高，但推理流程相对复杂，实时性不足。对于城市消防预警任务而言，模型需要在监控视频流中持续运行，过高的计算开销会限制其在边缘设备上的部署。

单阶段检测器省略候选区域生成过程，直接在特征图上预测类别和边界框，具有结构紧凑、推理速度快的优势。YOLO系列算法将目标检测转化为端到端回归问题，在实时检测场景中得到广泛应用。对于消防目标检测而言，单阶段检测器能够在保证较快推理速度的基础上，通过多尺度特征融合、注意力机制和检测头优化弥补小目标识别不足，因此成为当前研究和工程应用中的常用基础框架。

2.2 YOLO系列在消防检测中的适用性

YOLO类模型通常由Backbone、Neck and Head三部分组成。Backbone负责提取图像特征，Neck通过自顶向下和自底向上的路径融合多尺度信息，Head完成目标分类和边界框回归。YOLOv8等新版本进一步采用轻量化结构、解耦检测头和无锚框设计，降低了模型设计复杂度，也提升了对多尺度目标的适应能力。

在消防检测任务中，YOLO类模型的优势主要体现在三方面：一是检测速度快，能够满足实时监控需求；二是结构易于扩展，可在小目标检测层、注意力模块、文本分支和多模态融合模块上进行针对性改造；三是模型规模可控，便于部署到边缘计算设备。但其不足也较明显，即单纯依赖视觉特征时容易受复杂背景干扰，跨场景泛化能力有限，需要借助数据增强、多模态语义和自适应融合机制进一步优化。

2.3 典型优化方向

优化方向	主要作用	适用问题	局限性
高分辨率输入	保留小尺度火焰细节	远距离小火点漏检	计算量增加
多尺度检测头	增强不同尺度目标表达	尺度差异明显	结构更复杂
注意力机制	突出关键通道和空间区域	背景干扰强	可能引入额外参数
数据增强	扩大场景与光照变化	过拟合和样本不足	语义一致性需控制
图像文本融合	补充场景与目标语义	视觉语义不足	需解决模态对齐

3 图像文本多模态消防检测方法

3.1 文本语义信息的作用

图像文本多模态消防检测的核心思想，是在图像视觉特征之外引入文本语义信息，使模型不仅“看到”火焰和烟雾的外观，还能“理解”场景类型、目标属性和采集条件。常见文本信息包括火灾描述、火灾类型和数据来源。其中，火灾描述可包含火焰大小、颜色、燃烧状态、烟雾强度和背景环境；火灾类型可表征室内、室外、车辆、森林等场景类别；数据来源可反映监控、网络图像、物联网设备等采集差异。

文本模态的价值在于提供相对稳定的高层语义先验。例如，当文本中出现“小火点”“橘红色火焰”“室内火灾”等描述时，模型可增强对小尺度高亮区域、火焰颜色通道和室内环境上下文的关注。相较于单一视觉模态，文本语义能够帮助模型区分真实火焰与灯光反射、广告牌、车灯等相似干扰，提高复杂背景下的分类可靠性。

3.2 多模态融合方式

多模态融合可按融合阶段分为早期融合、中期融合和后期融合。早期融合在输入层拼接不同模态，但图像与文本在结构上差异较大，缺乏像素级对应关系，因此直接拼接容易产生冗余。后期融合则在各模态分别预测后融合结果，结构简单但交互较弱，难以发挥文本对视觉特征的引导作用。

中期融合是在特征提取过程中进行跨模态交互，通常先分别提取图像特征和文本特征，再通过注意力、门控、拼接或加权等方式生成联合特征。该方式既保留了视觉分支的空间细节，又能引入文本分支的语义约束，是图像文本消防检测中较为合理的方案。在模型实现中，可将文本向量映射为通道权重或空间权重，对视觉特征进行加权调制，使火灾相关区域得到增强，背景无关区域被抑制。

3.3 文本引导检测头优化

目标检测模型的检测头通常包含分类分支和回归分支。文本语义更直接地服务于类别判别，如判断图像中的高亮区域是否属于火焰、烟雾或背景干扰；而边界框回归更依赖空间位置和目标轮廓。如果将文本语义无差别地注入所有分支，可能会干扰定位稳定性。因此，较合理的设计是将文本调制主要作用于分类分支，增强类别语义判别，同时保持回归分支相对独立。

分类分支调制可采用门控机制实现。文本编码器输出语义向量后，经线性映射生成调制权重，作用于分类特征通道，使模型根据当前文本描述动态增强相关类别响应。该设计能够在不显著增加计算复杂度的前提下改善复杂场景中的类别判别能力，也更符合消防检测中“语义辅助分类、视觉负责定位”的任务分工。

4 跨场景泛化与自适应融合

4.1 场景域偏移问题

跨场景泛化是消防检测模型能否落地应用的关键。所谓场景域偏移，是指训练数据与测试数据在视觉分布、语义背景、采集设备和目标形态等方面存在差异，导致模型在源域学习到的特征难以适配目标域。常规随机划分实验中，训练集和测试集往往包含相似场景，指标较高并不代表模型能够适应未知环境。

更严格的评价方式是留出场景测试，即按火灾类型或数据来源划分训练集和测试集，使测试场景在训练阶段完全不可见。例如，可将室内火灾、室外森林火灾、车辆火灾等作为独立目标域，用其他场景训练模型，再评估模型对未见场景的检测能力。这种实验范式更接近真实部署条件，也能更准确地暴露模型的泛化短板。

4.2 场景语义引导的自适应融合

为缓解跨场景性能退化，研究者开始引入场景语义引导的自适应融合机制。该机制利用火灾类型、数据来源和场景描述生成动态融合权重，使模型能够根据输入样本的场景属性调整视觉特征与文本特征的融合强度。例如，室内火灾可提高对小目标 and 遮挡区域的关注，森林火灾可强化对自然背景干扰的抑制，车辆火灾可突出车体局部燃烧区域。

在多模态消防检测中，简单拼接文本可能造成语义混叠。火灾目标语义、场景语义和数据来源语义同时输入同一编码器时，模型难以区分哪些信息用于目标分类，哪些信息用于场景适配，可能导致门控调制不稳定. 为解决该问题，可采用分离式语义编码思路，将目标语义和场景语义分别建模：目标语义分支关注火焰颜色、尺度和燃烧状态，场景语义分支关注室内外属性、数据来源和背景条件，再通过自适应权重融合两类语义。此类结构有助于降低语义干扰，提升未知场景下的检测稳定性。

5 当前研究存在的问题

第一，单一视觉特征仍难以覆盖复杂消防场景。尽管高分辨率输入、小目标检测层和注意力机制能够提升视觉表达能力，但面对强光干扰、弱光遮挡和复杂背景时，模型仍容易依赖局部颜色和纹理特征，缺乏对火灾语义的深层理解。

第二，图像文本对齐机制仍不充分。消防文本多为场景级描述，而检测任务关注的是局部目标框，二者之间存在粒度差异。如何建立文本语义与具体目标区域、特征通道之间的对应关系，是多模态消防检测进一步提升性能的关键。

第三，跨场景评价体系仍需完善。部分研究仍以随机划分结果作为主要依据，缺少按火灾类型、数据来源、设备类型和光照条件进行的系统留出实验，难以真实评估模型部署到未知场景后的可靠性。

第四，精度与轻量化之间仍存在矛盾。多模态分支、注意力模块和自适应融合机制会增加模型参数量和计算量，而消防预警系统往往部署于算力受限的边缘设备。如何在保持实时性的同时提升语义理解和泛化能力，是工程应用中必须解决的问题。

6 发展趋势

未来，多模态消防目标检测可从以下方向继续发展。首先，应构建更规范的图像文本消防数据集，在图像标注之外补充火灾类型、目标状态、风险等级、数据来源等语义字段，并保证文本描述与图像内容的一致性。其次，应加强跨场景基准测试，采用留一场景、留一来源和复杂干扰条件测试，避免仅依赖同分布实验评价模型性能。

再次，轻量化视觉语言模型有望成为重要方向. 通过轻量文本编码器、参数共享、知识蒸馏和边缘推理优化，可以在有限算力条件下实现图像与文本语义协同检测。最后，应进一步提升模型的可解释性，使系统能够说明检测依据，如模型关注的火焰区域、文本语义触发的注意力权重和场景适配过程，从而增强消防应用中的可信度。

7 结语

城市消防目标检测面向真实复杂环境，既要求模型具备较高检测精度，又要求其能够在边缘设备上稳定、实时运行。传统单一视觉检测方法在简单场景中具有一定效果，但面对小尺度火焰、烟雾遮挡、背景干扰和未知场景时仍存在明显不足。图像文本多模态融合通过引入火灾描述、火灾类型和数据来源等语义信息，为模型提供了视觉之外的先验知识，能够有效增强复杂场景下的判别能力。

总体来看，多模态消防检测正由单纯视觉特征优化，逐步转向视觉语义协同、场景自适应和跨域泛化方向。未来研究需要在数据集构建、语义对齐、轻量化部署和跨场景验证方面持续深化，推动智能消防检测模型从实验室环境走向更真实、更复杂的城市应用场景。

参考文献：

1. [1] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//Advances in Neural Information Processing Systems. Cambridge: MIT Press, 2015.
2. [2] Redmon J, Divvala S, Girshick R, et al. You only look once: Unified, real-time object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2016.
3. [3] Lin T Y, Dollár P, Girshick R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2017.
4. [4] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2018.
5. [5] Wang Q, Wu B, Zhu P, et al. ECA-Net: Efficient channel attention for deep convolutional neural networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2020.
6. [6] Radford A, Kim J W, Hallacy C, et al. Learning transferable visual models from natural language supervision[C]//Proceedings of the 38th International Conference on Machine Learning. PMLR, 2021.
7. [7] Ganin Y, Ustinova E, Ajakan H, et al. Domain-adversarial training of neural networks[J]. Journal of machine learning research, 2016, 17(59): 1-35.