买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉昆明理工大学申请的专利一种基于Transformer的跨模态融合目标检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114966696B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111588292.1，技术领域涉及：G01S13/931；该发明授权一种基于Transformer的跨模态融合目标检测方法是由沈韬;向思佳;曾凯;马倩;张小青设计研发完成，并于2021-12-23向国家知识产权局提交的专利申请。

本一种基于Transformer的跨模态融合目标检测方法在说明书摘要公布了：本发明涉及一种基于Transformer的跨模态融合目标检测方法，属于图像处理技术领域。本发明利用雷达传感器收集雷达数据同时摄像头收集图像数据。将毫米波雷达信息与图像信息进行对齐操作，包括时间对齐和空间坐标转换，同时将雷达特征映射到图像平面上。依据雷达物理特性对雷达信息进行预处理。构建特征提取网络，分别提取雷达特征和图像特征。设计雷达与视觉特征交互融合模块，充分考虑跨模态信息交互和上下文环境信息的补充学习。本发明与现有技术相比，将周围环境信息结合跨模态信息进行联合学习。解决了传统方法仅仅只能获取相同位置信息，缺乏对周围环境信息的感知的问题，同时降低了在恶劣天气和复杂场景下的误检率以及漏检率。

本发明授权一种基于Transformer的跨模态融合目标检测方法在权利要求书中公布了：1.一种基于Transformer的跨模态融合目标检测方法，其特征在于： Step1：分别从毫米波雷达传感器及摄像头提取雷达数据信息以及视觉图像信息； Step2：将雷达信息以点云数据的形式呈现，并将两种模态的数据进行时间与空间的对齐； Step3：使用坐标转换将3D雷达点云信息映射到图像的2D平面上，映射后的雷达信息是一个含有18个通道的矩阵，其大小与图像矩阵保持一致； Step4：对单个雷达点进行扩充增强； Step5：将经过增强后的雷达信息与图像数据进行特征提取及融合； Step6：最后，对其进行分类和识别； 所述Step3具体步骤为： Step3.1：首先明确雷达点映射到图像平面的初始位置，记为Oi； 其中，xi是第i个雷达点的垂直偏移，h是雷达传感器安装的初始高度，τ和是超参数，分别是位置因子和垂直偏移因子； Step3.2：为了补充雷达传感器检测目标时，目标高度信息的缺失，将单个雷达点扩展成为纵向扩充的线段线段长度基于不同目标的雷达散射截面积RCSi以及距离disti进行自适应调整，以拟合目标呈现在图像的真实高度： 其中，α和β为超参数，分别为距离因子和散射截面积因子； Step3.3：基于雷达点初始位置Oi，进行高度上的增强，将增强线段分为两个部分l1和l2： Step3.4：依据雷达散射截面积RCSi对目标进行横向增强，增强宽度为Si，以补充缺失的宽度信息； 所述Step4具体步骤为： Step4.1：明确雷达点映射在图像上的空间位置坐标； Step4.2：依据目标距离传感器的距离以及雷达传回的雷达截面积进行建模，获取目标显示在图像上的高度，将高度记为 Step4.3：将原始雷达点依据获取的高度在图像上扩充成一条长度为的线段； Step4.4：基于雷达截面积信息对增强的线段横向扩充，扩充宽度为S，此时经过完整增强后的是一个矩形区域，该区域即为雷达重点关注区域，且该区域内的全部信息都与增强前的单个雷达点信息保持一致； 所述Step5具体步骤为： Step5.1：使用VGG16作为特征提取网络，输入分别为雷达信息与图像信息，经过每一个block后进行特征融合； Step5.2：构建RC-Attention，实现不同模态相似性的计算； Step5.3：基于RC-Attention构建特征融合模块Multi-Transformer，实现特征的跨模态融合及上下文信息的交互； 所述特征提取网络使用VGG16，并在每个block之间进行跨模态特征的融合； 在特征提取网络第三、四、五个block之后，使用Multi-Transformer模块进行多模态特征的融合； 模块的输入分别为雷达特征，以及图像特征，在Encoder和Decoder中实现模态间以及模态内的相似性计算，其中RC-Attention通过计算两个模态特征图中任意位置信息的相似性，赋予不同模态间相似性权重，实现跨模态特征匹配，从而达到跨模态信息的交互； 输出为融合了图像信息的雷达特征，以及融合了雷达信息的图像特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人昆明理工大学，其通讯地址为：650093 云南省昆明市五华区学府路253号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。