买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广东工业大学申请的专利一种用于复杂场景下的多模态目标检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116630608B 。

龙图腾网通过国家知识产权局官网在2025-12-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310611640.5，技术领域涉及：G06V10/25；该发明授权一种用于复杂场景下的多模态目标检测方法是由秦玉文;曾祥津;吴小龑;任振波;钟丽云;邸江磊设计研发完成，并于2023-05-29向国家知识产权局提交的专利申请。

本一种用于复杂场景下的多模态目标检测方法在说明书摘要公布了：本发明属于计算机视觉与模式识别领域，公开一种用于复杂场景下的多模态目标检测方法，用于解决单模态目标检测方法无法对复杂场景的目标进行精确检测的难题。本发明的多模态目标检测方法先基于YOLOv5模型构建双输入的双流主干网络用来获取红外和可见光图像的多尺度特征，再基于注意力机制和中间融合策略搭建跨模态特征融合模块用于融合多模态特征和解决模态平衡问题，之后将拍摄、配准并划分好的训练集图像对输入到所搭建的检测网络中进行训练获取最佳结果的权重文件，最后将权重文件和测试集图像对载入模型中获得带有检测框和置信度的红外和可见光图像对。本发明的方法可以实现对复杂场景下的目标进行检测，且精度更高、参数更少、实时性良好。

本发明授权一种用于复杂场景下的多模态目标检测方法在权利要求书中公布了：1.一种用于复杂场景下的多模态目标检测方法，其特征在于，包括以下步骤： S1、使用红外和可见光两种不同模态相机在复杂场景对检测目标主体进行拍照采集图像对，并将拍摄到的图像放入图像集A中； S2、使用图像配准算法对图像集A中的图像对进行配准，得到配准后的图像集B； S3、将图像集B中的每对图像放入标注软件进行目标类别和位置信息的标注得到图像集C，再将图像集C中任意选择图像对按照8：2划分训练图像集D和测试图像E； S4、基于YOLOv5框架搭建双流目标检测网络，并基于注意力机制搭建跨模态特征融合模块，其中双流检测网络的构建包括以下步骤： S4-1、使用CSPDarkNet网络搭建两个并行的主干网络分别用于提取红外图像和可见光图像的多尺度特征信息，网络下采样通道数分别为64、128、256、512与1024，在两个并行主干网络深层次512通道数处即第四阶段后，将此层的特征沿着通道维度进行拼接以用于融合深层次的语义和特征信息，为了减少模型参数量，使用1×1大小的卷积运算将拼接后1024通道数再次压缩为512，并使用卷积进一步下采样，并将通道数拓展为1024； S4-2、基于注意力机制和中间融合策略搭建跨模态特征融合模块，并多次插入到双流主干网络的不同阶段；主干网络由两个并行的双流CSPDarkNet组成，其中一个CSPDarkNet输出为可见光图像特征图FR，另一个CSPDarkNet输出为红外图像特征图FI；首先对这两个特征图做减法操作，获得模态间的差异特征图；其次，对红外和可见光特征图分别沿着水平坐标和垂直坐标做平均池化操作得到两个新的特征图，再把他们拼接起来并发送到一个共享的1×1卷积核变换函数进行信息交互；之后再将拼接的特征图分开，经过两个不同的1×1卷积核变换后得到新的输出，在此输出上使用sigmoid作为激活函数获得注意力权重，将权重与差异特征图相乘可获得互补特征图，最后将互补特征图与可见光特征图FR和红外特征图FI相加即可获得加强后特征图，整个过程的表达式如下: 其中σ表示sigmoid函数，f1×1表示进行1×1卷积运算，GAP表示沿着两个空间范围H，1或1，W进行平均池化，⊙代表点乘操作； S4-3、将融合跨模态差异特征的特征图以相加的方式融入到双流主干网络中，增强主干网络中的特征图，同时将增强后不同尺度的特征图进行线性叠加输入到检测层； S4-4、在检测层，使用特征金字塔层聚合多尺度特征，充分融合目标的上下文信息，提高检测精度和效率； S4-5、在网络训练之前，使用K-means聚类算法从数据集中获得锚框先验用于预测边界框的生成； S5、将图像集D输入到基于YOLOv5框架的双流目标检测网络中进行训练和优化，得到训练后的最优权重文件； S6、将训练好的权重文件载入到双流检测网络，并将图像集E放入网络进行测试，得到带有检测框和置信度的图像对。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东工业大学，其通讯地址为：510009 广东省广州市东风东路729号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。