买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉吉林大学申请的专利一种多模态航拍图像融合与目标检测联合学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116994164B 。

龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311058440.8，技术领域涉及：G06V20/17；该发明授权一种多模态航拍图像融合与目标检测联合学习方法是由于银辉;孙旭;余雨萍;方兆帆;刘雨晗设计研发完成，并于2023-08-22向国家知识产权局提交的专利申请。

本一种多模态航拍图像融合与目标检测联合学习方法在说明书摘要公布了：本发明公开了一种多模态航拍图像融合与目标检测联合学习方法，属于遥感图像处理技术领域，包括：采用成对的可见光图像和红外图像初步训练图像融合分支，生成第一融合图像；基于第一融合图像，设计具有专家指导信息的目标检测分支；采用第一融合图像对目标检测分支进行初步训练；通过初步训练后目标检测分支输出专家特征图；对专家特征图进行特征对齐处理；并采用特征对齐处理后的专家特征图对图像融合分支进行微调，生成第二融合图像；采用第二融合图像对目标检测分支进行微调，实现优化目标检测任务；该方法同时提高可见光和红外航拍图像融合与目标检测两个任务的性能，为无人机应用提供更精确、高效的数据分析和决策支持。

本发明授权一种多模态航拍图像融合与目标检测联合学习方法在权利要求书中公布了：1.一种多模态航拍图像融合与目标检测联合学习方法，其特征在于，包括如下步骤 S1、采用成对的可见光图像和红外图像初步训练图像融合分支，生成第一融合图像； S2、基于所述第一融合图像，设计具有专家指导信息的目标检测分支； S3、采用所述第一融合图像对所述目标检测分支进行初步训练；通过初步训练后目标检测分支输出专家特征图； S4、对所述专家特征图进行特征对齐处理；并采用特征对齐处理后的专家特征图对所述图像融合分支进行微调，生成第二融合图像； S5、采用所述第二融合图像对所述目标检测分支进行微调，实现优化目标检测任务； 所述步骤S2具体包括： 使用分割基础模型将所述第一融合图像分割成多个图像块； 按照预设面积区间和分割编码模块对多个所述图像块进行分类编码，采用混合专家门控机制自适应学习编码特征，形成具有专家指导信息的目标检测分支； 所述预设面积区间的设置过程包括： 将成对的所述可见光图像和所述红外图像中的目标真实框分别进行归一化处理，并计算归一化处理后所述目标真实框的面积，选择其中一个面积作为第一个聚类中心； 采用K-Means++聚类算法，计算其他目标真实框的面积与所述第一个聚类中心的最短欧氏距离；所述其他目标真实框的面积为除所述第一个聚类中心外的目标真实框的面积； 根据所述最短欧氏距离，计算每个目标真实框的面积被选择为下一个聚类中心的概率，直到聚类出K个簇，得到K段面积区间；将所述K段面积区间作为预设面积区间； 所述分割编码模块具体包括： 分别计算多个所述图像块的最小外接矩形面积； 将多个所述最小外接矩形面积按照所述预设面积区间划分成K类，再将每类的目标区域设置成1，其他区域被设置成0，得到K通道的Mask矩阵； 对所述Mask矩阵进行扁平化处理，映射成固定的维度；基于Patchembedding编码特征和Positionembedding编码特征，利用Transformer编码器进行自注意力操作，得到特征图； 采用卷积模块对所述特征图进行下采样处理，获得下采样处理后的特征图。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人吉林大学，其通讯地址为：130012 吉林省长春市朝阳区南湖大路5372号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。