买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国矿业大学申请的专利一种基于多模态层级Transformer的运动感知自监督RGBT跟踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117197187B 。

龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311169927.3，技术领域涉及：G06T7/246；该发明授权一种基于多模态层级Transformer的运动感知自监督RGBT跟踪方法是由姚睿;李生蘭;周勇;祝汉城;邵志文设计研发完成，并于2023-09-12向国家知识产权局提交的专利申请。

本一种基于多模态层级Transformer的运动感知自监督RGBT跟踪方法在说明书摘要公布了：本发明公开了一种基于多模态层级Transformer的运动感知自监督RGBT跟踪方法，先采用ResNet50来提取RGB图像和热红外图像的特征，再使用MHTF模块捕捉通道上两种模态特征之间的远距离依赖关系，对融合得到的特征进行基于卷积的互相关操作，利用基于多头交叉注意力机制的分类增强分数图来辅助实现根据准确的分类，引入MAM模块记录搜索帧特征并提取相应的运动向量，并在网络模型训练期间使用这些向量来强化与当前搜索帧特征的一致性，最小化互相关操作及MAM模块得到的损失，最后将视频帧输入训练好的网络模型进行跟踪得到跟踪结果。本发明方法充分利了用可见光和热红外图像间的互补信息并能发挥自监督学习的优势。

本发明授权一种基于多模态层级Transformer的运动感知自监督RGBT跟踪方法在权利要求书中公布了：1.一种基于多模态层级Transformer的运动感知自监督RGBT跟踪方法，其特征在于：包括如下步骤： 1分别将可见光搜索帧xv、热红外搜索帧xi、可见光模板帧zv和热红外模板帧zi输入特征提取网络进行特征提取，得到对应的可见光搜索帧特征热红外搜索帧特征可见光模板帧特征和热红外模板帧特征所述特征提取网络由ResNet50网络的前三层构成； 2利用多模态分层Transformer特征融合模块融合跨模态特征，可见光搜索帧特征与热红外搜索帧特征融合后得到搜索帧融合特征可见光模板帧特征和热红外模板帧特征融合后得到模板帧融合特征 3将模板帧融合特征中的作为模板特征，将搜索帧融合特征中的作为搜索特征，将搜索特征及其之后N个采样点的搜索特征输入运动感知模块，计算运动损失 4将融合得到的特征与输入卷积模块进行基于卷积的互相关操作，并计算分类损失和回归损失将融合得到的特征与输入多头交叉注意力模块进行基于多头交叉注意力的互相关操作，并计算分类增强损失根据分类损失回归损失和分类增强损失计算离线损失包括如下步骤： 41将和作为输入，使用交叉熵损失作为分类损失使用IoU损失作为回归损失采用的分类增强分数图表示为 42交叉熵损失利用分类增强分数图计算分类增强损失用于计算分类损失的标签大小为25×25，用于计算分类增强损失的标签大小为31×31； 43根据分类损失分类增强损失和回归损失计算离线损失其中：λ是一个超参数； 44计算总损失其中：β是一个超参数； 5根据运动损失和离线损失计算总损失利用总损失对网络模型进行分阶段训练，最终得到训练好的网络模型； 6使用训练好的网络模型对视频帧进行跟踪得到跟踪结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国矿业大学，其通讯地址为：221116 江苏省徐州市泉山区大学路1号中国矿业大学南湖校区；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。