南京信息工程大学陆成获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京信息工程大学申请的专利一种结合Transformer与CNN双编码器的红外与可见光图像融合方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117314808B 。
龙图腾网通过国家知识产权局官网在2025-10-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311218609.1,技术领域涉及:G06T5/50;该发明授权一种结合Transformer与CNN双编码器的红外与可见光图像融合方法是由陆成;刘雪明设计研发完成,并于2023-09-20向国家知识产权局提交的专利申请。
本一种结合Transformer与CNN双编码器的红外与可见光图像融合方法在说明书摘要公布了:本发明公开了一种结合Transformer与CNN双编码器的红外与可见光图像融合方法,基于U‑Net框架,构建结合Transformer与CNN双编码器的红外与可见光图像融合模型,其中基于U‑Net框架的融合网络由双编码器和解码器组成,再利用训练集训练该模型;将红外图像、可见光图像输入到训练完成的结合Transformer与CNN双编码器的红外与可见光图像融合模型中,利用双编码器提取红外图像和可见光图像预融合的红外特征和可见光特征,并通过自上而下的方式进行特征表示;再利用解码器将特征表示映射到原始分辨率,通过自下而上的方式逐步融合图像特征,得到融合图像。本发明有效地将局部信息与全局信息相结合,提升融合图像质量,同时降低单一Transformer结构带来的计算复杂度。
本发明授权一种结合Transformer与CNN双编码器的红外与可见光图像融合方法在权利要求书中公布了:1.一种结合Transformer与CNN双编码器的红外与可见光图像融合方法,其特征在于,包括: S1、基于U-Net框架,构建结合Transformer与CNN双编码器的红外与可见光图像融合模型,其中该模型由双编码器和解码器组成;具体为: S101、构建双编码器:双编码器包括局部细节特征提取编码器和全局信息提取编码器; 其中,局部细节特征提取编码器包括依次连接的卷积层和四个特征提取块,卷积层由卷积核为4×4、步长为2、填充为1的卷积以及批量归一化、LeakyReLU串行连接构成,卷积层用于下采样操作,并调整输入图像的通道数和尺寸; 第一、二特征提取块由残差模块构成,第三、四特征提取块由残差模块和可逆神经网络串行连接构成,四个特征提取块输入的通道数分别为16、32、64、128,输出的通道数分别为32、64、128、256; 全局信息提取编码器包括四个通过串行方式连接的TransformerLayer,其输入的通道数分别为16、32、64、128,输出的通道数分别为32、64、128、256; S102、构建解码器:解码器包括四个特征融合模块和重建模块;每个特征融合模块包括上采样操作,拼接操作,依次连接的卷积核为4×4、步长为2、填充为1的反卷积,BatchNorm操作,激活函数ReLU; 重建模块包括依次连接的上采样操作,卷积核为4×4的卷积、填充为1的卷积,填充操作,双曲正切函数函数; S103、双编码器通过自上而下方式逐步下采样进行特征提取,解码器通过自下而上的方式将双编码器提取的特征逐步上采样进行融合并重建,构成结合Transformer与CNN双编码器的红外与可见光图像融合模型; S2、选定数据集,对其进行处理后得到训练集,利用训练集训练步骤S1中的结合Transformer与CNN双编码器的红外与可见光图像融合模型; S3、将红外图像、可见光图像输入到训练完成的结合Transformer与CNN双编码器的红外与可见光图像融合模型中,利用双编码器提取红外图像和可见光图像预融合的红外特征和可见光特征,并通过自上而下的方式进行特征表示; S4、利用解码器将步骤S3中的特征表示映射到原始分辨率,通过自下而上的方式逐步融合图像特征,得到融合图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京信息工程大学,其通讯地址为:210044 江苏省南京市江北新区宁六路219号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励