买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利一种基于双流注意力机制的多模态监控视频目标跟踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116012793B 。

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310160388.0，技术领域涉及：G06V20/52；该发明授权一种基于双流注意力机制的多模态监控视频目标跟踪方法是由廖阔;陈思情;潘启迪;卜志纯;张萍设计研发完成，并于2023-02-24向国家知识产权局提交的专利申请。

本一种基于双流注意力机制的多模态监控视频目标跟踪方法在说明书摘要公布了：本发明属于目标跟踪技术领域，具体地说是涉及一种基于双流注意力机制的多模态监控视频目标跟踪方法。本发明以监控视频多模态数据的目标跟踪为背景，针对现有的多模态目标跟踪中对全局特征建模能力弱的缺点，提出了一种基于双流注意力机制的目标跟踪方法。该方法首先采用了双流注意力网络对目标的特征进行提取和融合，应用注意力机制对正负样本的关系进行建模，关注全局特征联系。此外，为了增强特征表达，对不同尺度的特征进行交互。最后利用回归分类子网络对目标的位置进行预测。这样既保证了局部细节，也关注了全局特征，得到了判别能力更强的特征，使回归分类子网络的预测结果更加精确。

本发明授权一种基于双流注意力机制的多模态监控视频目标跟踪方法在权利要求书中公布了：1.一种基于双流注意力机制的多模态监控视频目标跟踪方法，其特征在于，包括以下步骤： S1、从监控视频数据中筛选出匹配的可见光-红外视频对，将视频对按照同一帧率保存为图像对获得输入样本；选取出图像对中代表第一帧的图像作为匹配图像，在匹配图像中将需要跟踪的目标用矩形框进行框选，后续帧的图像作为搜索图像；将输入样本记作Nj表示第j类样本的数量，表示可见光数据，表示红外数据；样本标签记作表示可见光数据标签，表示红外数据标签； S2、构建神经网络，包括双流特征提取网络、多模态融合网络和跟踪网络； 所述双流特征提取网络包括两个结构相同分支，分别为匹配分支和搜索分支，匹配分支和搜索分支均分别对可见光图像和红外图像进行特征提取，具体为采用三个级联的transformerblock进行特征提取； 所述多模态融合网络用于对双流特征提取网络提取的特性进行融合，具体为：定义双流特征提取网络中匹配分支的三个transformerblock输出分别为X1V，X1T，X2V，X2T，X3V，X3T，定义搜索分支的三个transformerblock输出分别为Z1V，Z1T，Z2V，Z2T，Z3V，Z3T；多模态融合网络分别获取每一个transformerblock的输出并进行融合得到： X1＝catXv1、Xt1 X2＝catXv2、Xt2 X3＝catXv3、Xt3 Z1＝catZv1、Zt1 Z2＝catZv2、Zt2 Z3＝catZv3、Zt3 其中，cat表示对图像进行通道融合； 再进行相关性计算得到相似度矩阵Si： Si＝corrZi，Xi，i＝1,2,3 其中，corr表示相似度计算，即将尺寸较小的匹配图像Zi作为卷积核对Xi进行卷积操作的过程； 对相似度矩阵进行拼接，得到包含多尺度信息的相似度矩阵S： S＝catSi S＝downsampleS 其中，downsample表示降采样，将S投影到适合跟踪的维度空间， 所述跟踪网络包括三个分支，分别为： 分类损失分支，预测目标的中心位置： 其中，yt表示第t个样本的锚框真实标签，yt＝1表示该锚框表示前景；mt表示该锚框是前景的概率； 回归损失分支，预测目标框四条边到中心点的距离： 其中，bbox表示预测框的大小，用四条边框和中心的距离表示，i，j表示S上的点； 中心损失分支，抑制中心点漂移： 其中，dt表示的是第j个中心位置的得分，σ表示sigmoid激活函数，ct和预测位置与中心位置的距离成正比； 跟踪网络的总损失为： L＝Lcls+η1Lreg+η2Lcen 其中，η1和η2是设定的超参数； S3、采用S1的输入样本对S2构建的神经网络进行训练，具体为：将Mtrain划分为匹配图像对和搜索图像对作为神经网络的输入Xv，Xt和Zv，Zt，其中Zv，Zt为匹配分支的输入，是从视频序列Mtrain中随机选取的某一帧；Xv，Xt为搜索分支的输入，选取方式为，在选择了匹配分支图像之后，从匹配分支图像之后的图像对中选取，记作Xv，Xt；设置学习率为0.0005，通过损失函数反向传播来修正网络的权重，直至网络基本收敛，得到训练好的神经网络； S4、利用训练好的神经网络进行目标跟踪，具体为：手动选取需要跟踪的目标，生成第一帧图像的标签，将含有标签的图像序列输入训练好的神经网络，得到目标中心的位置和目标的大小。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新西区西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。