买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉淮阴工学院申请的专利一种基于多尺度空洞注意力的跨模态图像融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116935178B 。

龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310977101.3，技术领域涉及：G06V10/80；该发明授权一种基于多尺度空洞注意力的跨模态图像融合方法是由项靖;姜明新;杜强;洪远;黄俊闻;王杰设计研发完成，并于2023-08-04向国家知识产权局提交的专利申请。

本一种基于多尺度空洞注意力的跨模态图像融合方法在说明书摘要公布了：本发明公开了一种基于多尺度空洞注意力的跨模态图像融合方法，包括获取多组可见光‑红外图片对；构建双流网络；构建差分模态多尺度空洞注意力模块DFMDA；在构建的双流网络中插入三个构建的差分模态多尺度空洞注意力模块DFMDA；利用双流网络来提取可见光‑红外图片的分层特征；利用三个差分模态多尺度空洞注意力模块DFMDA对提取的分层特征进行多模态互补信息的增强，得到多尺度的语义信息；将差分模态多尺度空洞注意力模块DFMDA的输出多尺度跨模态图像特征相加进行图像融合。本发明解决了现有图像融合技术中存在的计算复杂、较少利用跨模态特征之间的信息，在处理夜晚等复杂环境图像时，鲁棒性较差的问题。

本发明授权一种基于多尺度空洞注意力的跨模态图像融合方法在权利要求书中公布了：1.一种基于多尺度空洞注意力的跨模态图像融合方法，其特征在于，包括以下步骤： 步骤S1：获取多组可见光-红外图片对； 步骤S2：利用YOLOV5的backbone网络结构构建双流网络； 步骤S3：构建差分模态多尺度空洞注意力模块DFMDA； 步骤S4：在构建的双流网络中插入三个构建的差分模态多尺度空洞注意力模块DFMDA； 步骤S5：利用步骤S4中的双流网络来提取可见光-红外图片的分层特征； 步骤S6：利用步骤S4中的三个差分模态多尺度空洞注意力模块DFMDA对提取的分层特征进行多模态互补信息的增强，得到多尺度的语义信息； 步骤S7：将每个差分模态多尺度空洞注意力模块DFMDA对可见光和红外模态特征经过特征提取后的输出进行相加，得到不同尺度的跨模态融合图像特征； 步骤S2所述的利用YOLOV5的backbone构建双流网络，指构建可见光模态支路和红外模态支路，每条支路采用相同的YOLOV5的backbone网络结构，其中，Fr1、Fr2、Fr3、Fr4、Fr5五个特征提取层作为可见光模态支路，用来提取可见光模态特征Fr；Ft1、Ft2、Ft3、Ft4、Ft5五个特征提取层作为红外模态支路，用来提取红外模态特征Ft； 步骤S3所述的差分模态多尺度空洞注意力模块DFMDA包括特征差分结构和两个多头空洞注意力模块MHDA； 步骤S5所述的利用双流网络提取可见光-红外图片的分层特征，是指分别将可见光图片和红外图片输入到可见光模态支路和红外模态支路中，选取可见光模态支路的Fr1、Fr2特征提取层和红外模态支路的Ft1、Ft2特征提取层负责浅层阶段捕捉低级信息，选取可见光模态支路的Fr3、Fr4、Fr5特征提取层和红外模态支路的Ft3、Ft4、Ft5特征提取层负责提取高级语义信息； 步骤S6所述的利用步骤S4中的三个差分模态多尺度空洞注意力模块DFMDA对提取的分层特征进行增强多模态互补特征，是指利用三个DFMDA分别处理可见光模态支路Fr2、Fr3、Fr4和红外模态支路Ft2、Ft3、Ft4的特征提取层提取的模态特征，输出层分别是Fr3、Fr4、Fr5和Ft3、Ft4、Ft5，具体包括先利用DFMDA中差分结构得到相同层的模态差异特征，再利用DFMDA中两个多头空洞注意力模块MHDA对模态差异特征进行处理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人淮阴工学院，其通讯地址为：223003 江苏省淮安市清江浦区枚乘东路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。