买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京师范大学;江苏省中以产业技术研究院申请的专利一种基于四类多模态数据融合的目标多维度检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113971801B 。

龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111255921.9，技术领域涉及：G06V20/64；该发明授权一种基于四类多模态数据融合的目标多维度检测方法是由吕昊;方铭宇;宋治儒;钱伟行;刘童;亓霈;孟佳杰;汪澜泽;马玉浩设计研发完成，并于2021-10-27向国家知识产权局提交的专利申请。

本一种基于四类多模态数据融合的目标多维度检测方法在说明书摘要公布了：本发明公开了一种基于四类多模态数据融合的目标多维度检测方法，包括：采集待检测目标的雷达点云图像、红外图像、磁场图像以及RGB图像，搭建卷积神经网络对四种输入图像进行特征提取，将预定义三维锚框投影到四种特征图上，搭建引入注意力模块的RPN网络生成建议框，将建议框投影到四种特征图上，搭建全连接网络实现边界框回归、方向估计和类别分类。本发明针对采用通常的RGB图像目标检测方法的缺陷，利用雷达、红外以及磁场图像可以弥补信息的缺失，提高对目标的检测精度。

本发明授权一种基于四类多模态数据融合的目标多维度检测方法在权利要求书中公布了：1.一种基于四类多模态数据融合的目标多维度检测方法，其特征在于，包括以下步骤： 步骤1、采集待检测目标的雷达、红外、磁场以及彩色图像，将其划分为训练集、验证集和测试集，并且进行三维锚框标注，生成数据集； 步骤2、搭建四个结构独立的卷积神经网络作为主干网络，用于提取四种输入图像的特征图；具体是通过四个结构独立的卷积神经网络分别对四种输入图像进行特征提取，主干网络采用VGG16结构，在conv-4处截断，每个卷积层滤波器数量变为原来的一半，最终提取四个256通道的特征图，同时采用GAU模块增强特征图的信息； 步骤3、在训练集上通过聚类预先设置三维锚框，投影到四种特征图上，裁剪并池化到相同大小进行融合，搭建RPN网络生成建议框，同时引入注意力模块；具体包括： 步骤3.1、在训练集上采用聚类算法为每个类别生成大量的预定义锚框，并将其投影到主干网络的四种输出特征图上，裁剪对应的部分并且通过池化操作调整为相同宽高的特征图； 步骤3.2、对于每个锚框，通过元素平均操作将四种特征图进行融合，然后将其输入全连接网络，最终输出锚框的回归参数以及为前景的分数； 步骤3.3、在RPN网络中引入了注意力模块，使用分类识别定位策略Grad-CAM，获取最后一个卷积层的输出特征图，在进行反向传播时求得特征图的梯度，取平均和最大值的和作为每个特征图的权重，最后加权求和经过LeakyReLU激活函数得到类激活图；再使用反向注意力网络IAN生成生成空间方向的反向注意力图和通道方向的反向注意力图，然后组合生成反向注意力图，最后与卷积层输出特征图相乘； 步骤4、将RPN网络生成的建议框投影到四种特征图上，裁剪并池化到相同大小进行融合，搭建全连接网络，生成最终的预测框，同时引入注意力模块。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京师范大学;江苏省中以产业技术研究院，其通讯地址为：210024 江苏省南京市鼓楼区宁海路122号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。