买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉长春理工大学申请的专利一种基于SwinTransformer的多模态图像融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119963957B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510015768.4，技术领域涉及：G06V10/80；该发明授权一种基于SwinTransformer的多模态图像融合方法是由柴雨;马元;冯涛;詹伟达;于国栋;王春阳;蒋一纯;邢健设计研发完成，并于2025-01-06向国家知识产权局提交的专利申请。

本一种基于SwinTransformer的多模态图像融合方法在说明书摘要公布了：本发明公开一种基于SwinTransformer的多模态图像融合的方法，包括以下步骤：准备训练数据集，对数据集进行划分，划分为训练集、验证集和测试集并且进行预处理；构建包括两个编码器、一个融合模块和一个解码器的网络模型；利用准备好的高曝光和多焦点训练数据集对网络模型进行第一阶段的训练，直至达到预设阈值；使用红外和可见光数据集对网络模型进行再次训练微调，获得最终模型；将获得最终模型的参数进行固化，保存模型。本发明设计新型的神经网络框架，解决了现有的图像融合模型主要集中于解决单一任务的融合问题，忽略了多任务融合中信息互补的潜在可能性，该模型不仅促进了多个融合任务的协同训练，还在不同融合任务的数据集之间学习了有效的信息互补。

本发明授权一种基于SwinTransformer的多模态图像融合方法在权利要求书中公布了：1.一种基于SwinTransformer的多模态图像融合方法，其特征在于，包括以下步骤： 步骤1，准备训练数据：选择多焦点数据集、多曝光数据集、红外图像数据集与可见光图像数据集，将数据集划分为训练集、验证集和测试集，对多焦点数据集、多曝光数据集中的原图像和其对应标签进行预处理； 步骤2，构建网络模型：网络模型包括用于接收图像数据的图像接收模块、用于提取图像的粗略浅层信息的浅层特征提取模块、用于提取带有全局信息的精细信息的全局特征提取模块、用于融合图像的差异信息和公共信息的自适应频率融合模块和用于重建融合图像的图像重建模块；全局特征提取模块包括两个相同结构的拉普拉斯金字塔编码器，图像重建模块包括一个反拉普拉斯金字塔结构的解码器； 步骤3，第一阶段网络训练：使用多曝光数据集和多焦点数据集中的有标签数据进行多任务的监督预训练，用以增强模型从多曝光和多焦点任务中提取互补特征的能力； 步骤4，第二阶段网络训练：使用红外与可见光图像数据集中的无标签数据进行无监督训练，用于在节省数据成本的基础上增强模型的泛化能力；使用多曝光数据集和多焦点数据集的标签数据进行监督训练，用于增强模型保留源图像细节的能力； 步骤5，确定评价指标：选择损失函数评估图像融合的质量，确定评价指标评估网络的性能； 所述步骤2中，图像输入模块接收两种图像数据后送入浅层特征提取模块对输入图像进行3×3的卷积操作，获得图像的局部信息和浅层特征；将浅层信息送入到全局特征提取模块；全局特征提取模块包括两个相同结构的拉普拉斯金字塔编码器，不断对图像进行下采样和拉普拉斯差分，分解出不同频率的特征图后，送入自适应频率融合模块；自适应频率融合模块包括图像嵌入模块、差异信息融合模块、两个公共信息融合模块和精炼模块组成，对相同频率的图像进行融合，融合后送入图像重建模块中进行重建，图像重建模块包括一个反拉普拉斯金字塔结构的解码器，不断对图像进行上采样和残差连接后输出融合后的图像； 所述步骤2中，编码器和解码器构成一个拉普拉斯金字塔结构；编码器在得到最低尺度的特征后进行上采样，并与同尺度的特征计算残差，生成高频特征、、；解码器的结构与编码器是完全对称的； 自适应频率融合模块包括图像嵌入模块、差异信息融合模块、两个公共信息融合模块和精炼模块，图像嵌入模块将图像分割成补丁，经过线性投影后引入位置编码，输出一个包含补丁嵌入向量的序列作为后续模型的输入，嵌入过程可以表示为： ； 其中是包含补丁嵌入向量的序列，表示将图像分割成补丁，经过线性投影后引入位置编码的过程； 引入交叉注意力架构，构建差异信息融合模块，以编码器分解出的频率特征如和为输入，并输出差异信息特征；将和划分为n个局部特征片段如下所示： ； 其中和，并且； 使用线性层将特征片段转换为查询,键和值,线性投影可以表示为： ； 其中，，表示在不同片段之间共享的线性投影操作； 使用点积注意力层计算查询和键的相似度矩阵，然后和值相乘用于推断和之间的相关度；表示为： ； 其中，是一个缩放因子，可以缓解当点积增大时，softmax函数收敛到梯度最小区域； 通过去除共同信息获取和之间的差异信息；表示为： ； 将差异信息注入到中；表示为： ； 其中，代表归一化层，代表多层感知机，是差异信息融合模块的输出； 引入两个相同信息融合模块，使用差异信息融合模块的输出片段提供，而的片段提供和，因此和之间的共同信息可以表示为： ； 然后将和之间的公共信息加入，表示为： ； 其中，表示第一个公共信息融合模块的输出； 将和之间的公共信息注入到融合特征中，用于进一步的丰富融合特征； 融合后的特征输入到精炼模块中，进行进一步的特征融合，精炼模块由卷积层一、混合块、卷积层二经过残差连接后经过softmax后输出融合结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人长春理工大学，其通讯地址为：130012 吉林省长春市卫星路7089号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。