郑州轻工业大学;许昌职业技术学院张建伟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉郑州轻工业大学;许昌职业技术学院申请的专利一种基于多模态单流记忆网络的单目标跟踪方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116402849B 。
龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310197848.7,技术领域涉及:G06T7/246;该发明授权一种基于多模态单流记忆网络的单目标跟踪方法是由张建伟;王景超;张焕龙;梁树军;蔡增玉;孙海燕;张之琛;张梦雅设计研发完成,并于2023-03-03向国家知识产权局提交的专利申请。
本一种基于多模态单流记忆网络的单目标跟踪方法在说明书摘要公布了:本发明提出了一种基于多模态单流记忆网络的单目标跟踪方法,步骤为:将描述目标的文本输入语言模型提取描述感兴趣目标的语言特征;提取记忆器中的目标样本得到记忆特征,将语言特征、记忆特征和搜索区域特征输入多模态注意力网络生成多模态综合特征;使用预测头对多模态综合特征中的搜索区域特征进行解析得到跟踪结果;使用基于语言的跟踪结果对跟踪结果进行评估,将满足要求的跟踪结果存入记忆器。本发明基于自注意力机制同时利用视觉信息和文本信息可以获得更加完善的跟踪模型,从而提高对于目标变化的适应能力。本发明结合了多模态学习和单流网络结构的优势,利用文本信息的稳定性来弥补视觉信息的脆弱性,从而提升了跟踪的精度。
本发明授权一种基于多模态单流记忆网络的单目标跟踪方法在权利要求书中公布了:1.一种基于多模态单流记忆网络的单目标跟踪方法,其特征在于,其步骤如下: 步骤一:使用矩形框从需要跟踪的视频的第一帧图片中选取需要跟踪的目标,然后根据矩形框裁剪出目标区域作为目标样本存入记忆器中; 步骤二:获取描述目标的文本,将文本输入语言模型获得语言特征TL; 步骤三:根据上一帧中目标的位置信息截取当前帧中的搜索区域图像,对搜索区域图像进行特征提取得到搜索区域特征TS; 步骤四:在记忆器中使用均匀采样选择至少2个目标样本,对目标样本进行特征提取得到记忆特征TM; 步骤五:将记忆特征TM、搜索区域特征TS和语言特征TL在第一个维度上进行串联得到特征序列TSLM,将特征序列输入多模态单流注意力网络进行特征提取,获得多模态综合特征; 步骤六:将多模态综合特征中搜索区域特征拆分出来输入预测头,获得目标包围框; 步骤七:将多模态综合特征中拆分出处理后的搜索区域特征和语言特征输入基于语言的评估模块对当前搜索区域中目标的状态进行预测,如果预测得分高于预设阈值,则得到的目标包围框从当前搜索区域图片中裁剪出目标区域作为目标样本存入记忆器; 步骤八:获取下一帧视频并返回步骤三,直至整个跟踪任务结束。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人郑州轻工业大学;许昌职业技术学院,其通讯地址为:450000 河南省郑州市高新技术产业开发区科学大道136号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。