江淮前沿技术协同创新中心;安徽大学孙登第获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉江淮前沿技术协同创新中心;安徽大学申请的专利一种基于稀疏时空标记引导的多模态目标跟踪方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120411166B 。
龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510496170.1,技术领域涉及:G06T7/246;该发明授权一种基于稀疏时空标记引导的多模态目标跟踪方法是由孙登第;潘亚杰;丁转莲;李成龙;焦均均设计研发完成,并于2025-04-21向国家知识产权局提交的专利申请。
本一种基于稀疏时空标记引导的多模态目标跟踪方法在说明书摘要公布了:本发明公开一种稀疏时空标记引导的多模态目标跟踪方法,通过网络模型进行联合特征提取、模态融合和模板搜索匹配,并在在多个层级引入稀疏时空标记来嵌入目标外观变化信息来完成精确的目标跟踪。第一阶段,根据初始帧的目标框分别裁切两个模态的搜索区域图像和模板图像,然后将模板搜索图像编码并投影到序列特征空间,将两个模态的模板和搜索序列特征拼接到一起,送入堆叠的序列特征编码层;第二阶段,在预设编码层中引入来自历史帧的稀疏时空标记分别与各自模态的搜索区域进行交叉注意力来嵌入目标变化的信息,第三阶段,将经过多层编码提取的两个模态的搜索标记特征拼接在一起送入跟踪预测头得到得分最高的响应点坐标以及回归框的值,最终通过相对变换得到实际目标的跟踪结果坐标以及边界框。
本发明授权一种基于稀疏时空标记引导的多模态目标跟踪方法在权利要求书中公布了:1.一种基于稀疏时空标记引导的多模态目标跟踪方法,其特征在于,将准备好的多模态图像输入主干网络,所模态图像包括RGB模板图像RGB搜索图像TIR模板图像以及TIR搜索图像H,W分别表示图像的高和宽,z,x分别表示是模板图像和搜索图像;收到多模态图像后执行以下步骤: 步骤1、对于输入的图像多模态图像,将其二维数据映射为一维多通道特征序列标记,方法为: 首先,将对应图像全部拆分为补丁序列其中为拆分后模板和搜索的补丁序列长度,P2表示补丁的分辨率像素面积; 随后,使用一个带有参数投影层将补丁序列都投影到D维潜在空间中,同时将两个可学习的位置嵌入和分别添加到模板和搜索区域的补丁序列嵌入中,得到最终的特征标记序列 步骤2、将特征标记序列拼接为完整的标记序列H1; 步骤3、将完整的标记序列H1输入编码层,先经过层归一化,再通过多头自注意力完成联合特征提取、模态融合和搜索目标匹配;具体方法为: 首先,对标记序列H1进行多次线性投影生成Q,K,V矩阵,然后执行自注意力计算;然后将自注意力计算结果与原始标记序列H1相加得到中间结果G′,送入层归一化再经过MLP,最后与G′相加就得到当前编码层的输出Hi+1: 接着,将存在历史帧的稀疏时空标记Mrgb,Mrgb送入稀疏时空标记模块进行时序嵌入,使其分别与搜索特征进行交叉注意力处理; 最后,对于未提供历史帧稀疏时空标记的跟踪流程,通过注意力结果筛选稀疏标记以作为未来跟踪帧的候选; 步骤4、经过步骤3剩余编码层的处理后,将两个模态的搜索特征标记单独拆分出来,然后拼接在一起送入跟踪头,得到目标响应点的置信度得分,满足置信度得分超过阈值时,将当前帧提取的稀疏时空标记保存并送入下一个跟踪帧中处理,将跟踪头输出进行变换运算得到目标边界框。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人江淮前沿技术协同创新中心;安徽大学,其通讯地址为:230031 安徽省合肥市蜀山区高新区望江西路920号中安创谷科技园二期H3、H4、H5、H6、H7、H8幢;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励