大连理工大学赵文达获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉大连理工大学申请的专利场景引导提示表征增强的红外和可见光图像融合方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120953998B 。
龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511467613.0,技术领域涉及:G06V20/70;该发明授权场景引导提示表征增强的红外和可见光图像融合方法是由赵文达;崔恒帅;马钶皓;刘颢;杨向广设计研发完成,并于2025-10-15向国家知识产权局提交的专利申请。
本场景引导提示表征增强的红外和可见光图像融合方法在说明书摘要公布了:本发明属于图像信息处理技术领域,公开一种场景引导提示表征增强的红外和可见光图像融合方法,分为两个阶段:第一阶段,构建场景提示生成网络,通过语义分割任务学习覆盖源图像的全局视觉语义信息。为进一步增强提示表征能力,设计了一个视觉感知的上下文提示模块,利用模态特定特征与文本特征之间的相关性矩阵进行交互,并通过动态加权方式细化文本特征,从而获得语义更加丰富的场景提示表示。第二阶段,提出提示引导的跨模态对齐融合网络,利用所学场景提示将红外与可见光特征映射到统一的共享嵌入空间。在此过程中,通过提示驱动特征对齐模块建立像素‑文本相似性矩阵,实现跨模态特征的精确对齐,从而获得语义一致性与细节保真的融合结果。
本发明授权场景引导提示表征增强的红外和可见光图像融合方法在权利要求书中公布了:1.一种场景引导提示表征增强的红外和可见光图像融合方法,其特征在于,该红外和可见光图像融合方法分为两个阶段:场景提示生成网络和提示引导跨模态对齐融合网络; 1场景提示生成网络; 可学习的场景提示由多个可学习的词向量和一组类别名称组成,其形式化定义如下: 1其中,表示长度为n的多个可学习的词向量,表示包含k个类别名称的集合; 首先,将红外图像和可见光图像输入预训练的CLIP图像编码器中,分别提取红外模态特征和可见光模态特征;与此同时,将可学习的场景提示嵌入CLIP文本编码器中,生成文本特征; 随后,引入视觉感知的上下文提示模块来建模视觉与语言之间的交互关系:计算模态特征与文本特征之间的相似度图,其中分别表示红外模态特征和可见光模态特征;该相似度图进一步用于加权模态特征,从而生成模态特征嵌入的文本特征,该过程形式化表示为: 2其中,表示交叉注意力机制,表示文本特征的查询投影层,和分别表示视觉特征的键与值投影层; 接下来,模态特征嵌入的文本特征与模态特征进行矩阵乘法得到得分图; 随后,通过元素级求和的方式融合和,得到统一的文本表示;通过以下方式获得提示嵌入的红外特征: 3其中,表示特征级联操作; 提示嵌入的可见光特征也是同样的操作; 最后,将提示嵌入的红外特征和提示嵌入的可见光特征分别输入到红外分割头和可见光分割头,进而生成预测的红外分割掩码和可见光分割掩码;训练过程采用红外图像分割损失与可见光图像分割损失优化可学习的场景提示,形式如下: 45其中,表示分割标签,表示交叉熵损失,表示Dice损失; 其中,红外分割头和可见光分割头均由多个并行的MLP层组成的全连接结构组成; 2提示引导跨模态对齐融合网络; 提示引导跨模态对齐融合网络由红外编码器、可见光编码器、红外提示驱动特征对齐模块、可见光提示驱动特征对齐模块、跨模态特征融合模块以及融合图像解码器组成;其中,红外编码器和可见光编码器分别由3*3卷积层和平均池化的编码块构成;在红外编码器和可见光编码器后,分别接入两个并行的红外提示驱动特征对齐模块和可见光提示驱动特征对齐模块;红外提示驱动特征对齐模块和可见光提示驱动特征对齐模块均采用基于注意力机制的对齐结构,在已学习的场景提示约束下,通过查询‑键‑值交互分别对齐初始红外模态特征和初始可见模态特征;跨模态特征融合模块采用卷积层与权重图调制的融合结构组成;融合图像解码器主要由一系列上采样层和3*3卷积层构成。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连理工大学,其通讯地址为:116024 辽宁省大连市甘井子区凌工路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励