浙江大学陈耀武获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利基于泛注意力机制的多光谱特征融合多尺度目标检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119091122B 。
龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411219092.2,技术领域涉及:G06V10/25;该发明授权基于泛注意力机制的多光谱特征融合多尺度目标检测方法是由陈耀武;麻航翔;蒋荣欣;高翔设计研发完成,并于2024-09-02向国家知识产权局提交的专利申请。
本基于泛注意力机制的多光谱特征融合多尺度目标检测方法在说明书摘要公布了:本发明公开了一种基于泛注意力机制的多光谱特征融合多尺度目标检测方法,包括:主干网络读取可见光图像和红外图像后进行并行的双流网络特征提取,构建基于Transformer并引入代理注意力、跳过注意力结构和交叉注意力的GFT特征融合网络在不同阶段分别对双流网络提取的特征进行融合;颈部网络引入BiFPN模块、VoVGSCSP模块和GSConv模块,将不同阶段的融合特征作为颈部网络的输入并进行特征增强,不同阶段的增强后的特征再分别经RepConv模块捕捉多样化特征;最后经检测头和输出层得到最终的目标检测结果。本发明提供的网络结构在目标检测能力上具备更强的环境适应性,提高了目标检测的鲁棒性和检测精度。
本发明授权基于泛注意力机制的多光谱特征融合多尺度目标检测方法在权利要求书中公布了:1.一种基于泛注意力机制的多光谱特征融合多尺度目标检测方法,其特征在于,包括以下步骤: 基于YOLOv5模型框架搭建包含主干网络、颈部网络、检测头和输出层的多光谱双流检测网络; 其中,主干网络读取可见光图像和红外图像后进行并行的双流网络特征提取,构建基于Transformer并引入代理注意力、跳过注意力结构和交叉注意力的GFT特征融合网络在不同阶段分别对双流网络提取的原特征进一步特征提取并通过残差结构与原特征进行融合得到不同阶段的融合特征,包括:将可见光图像FR输入第一Focus模块提取特征图FR1,将FR1输入第一Conv+C3模块提取特征图FR2,将FR2输入第二Conv+C3模块提取特征图后输入第一GFT特征融合网络进行可见光特征的内部特征融合并通过残差结构将第二Conv+C3模块的输出与第一GFT特征融合网络的可见光特征输出融合得到特征图FR3,将FR3输入第三Conv+C3模块提取特征图后输入第二GFT特征融合网络进行可见光特征与同阶段提取的红外特征交叉融合并通过残差结构将第三Conv+C3模块的输出与第二GFT特征融合网络的可见光特征输出融合得到特征图FR4,将FR4输入第一Conv+SPP+C3模块提取特征图后输入第三GFT特征融合网络进行可见光特征的内部特征融合并通过残差结构将第一Conv+SPP+C3模块的输出与第三GFT特征融合网络的可见光特征输出融合得到特征图FR5;将红外图像FT输入第二Focus模块提取特征图FT1,将FT1输入第四Conv+C3模块提取特征图FT2,将FT2输入第五Conv+C3模块提取特征图后输入第一GFT特征融合网络进行红外特征的内部特征融合并通过残差结构将第五Conv+C3模块的输出与第一GFT特征融合网络的红外特征输出融合得到特征图FT3,将FT3输入第六Conv+C3模块提取特征图后输入第二GFT特征融合网络进行红外特征与同阶段提取的可见光特征交叉融合并通过残差结构将第六Conv+C3模块的输出与第二GFT特征融合网络的红外特征输出融合得到特征图FT4,将FT4输入第二Conv+SPP+C3模块提取特征图后输入第三GFT特征融合网络进行红外特征的内部特征融合并通过残差结构将第二Conv+SPP+C3模块的输出与第三GFT特征融合网络的红外特征输出融合得到特征图FT5; 在第一GFT特征融合网络或第三GFT特征融合网络中,包括:使用代理注意力模块替换Transformer各层中的多头自注意力模块,在此基础上实现在代理注意力模块中引入跳过注意力结构;对于跳过注意力结构,在Transformer中的第l-1层代理注意力模块的输出表示为在第l层的Transformer被表示为一种残差结构: Zl′←MLPZl+Zl 其中,SkipAt·为跳过注意力结构,MLP·为多层感知机,Zl为第l层的注意力输出,Zl′为第l层的Transformer输出,跳过注意力通过SkipAt·结构作用于使得的特征由前一层的代理注意力模块提供而不是通过当前层的代理注意力模块计算得到,SkipAt·作用层的具体公式如下: 其中,使用第一全连接层FC1·扩展通道维度,后采用深度可分离卷积模块DwC·获取Token间的关系,其结果会被展平为向量并输入第二全连接层FC2·以恢复通道维度,最终通过ECA模块ECA·计算得到当前层跳过注意力的输出 引入BiFPN模块、VoVGSCSP模块和GSConv模块对原YOLOv5颈部网络的Concat级联结构、C3模块和Conv模块进行替换,将不同阶段的融合特征作为颈部网络的输入并进行特征增强,不同阶段的增强后的特征再分别经过RepConv模块捕捉多样化特征; 检测头接收不同阶段特征对应的RepConv模块的输出并进行处理生成检测结果; 输出层融合不同阶段特征对应的检测结果得到最终的目标检测结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励