大连理工大学葛宏伟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉大连理工大学申请的专利一种基于注意力时空图网络的视频行人重识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116797966B 。
龙图腾网通过国家知识产权局官网在2026-02-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310516184.6,技术领域涉及:G06V20/40;该发明授权一种基于注意力时空图网络的视频行人重识别方法是由葛宏伟;齐彧;刘雨轩;候亚庆设计研发完成,并于2023-05-09向国家知识产权局提交的专利申请。
本一种基于注意力时空图网络的视频行人重识别方法在说明书摘要公布了:本发明属于人工智能与视频行人重识别领域,公开一种基于注意力时空图网络的视频行人重识别方法,提出一种多粒度注意力时空图网络方法,旨在不破坏行人身体结构的同时关注前景信息,减少背景干扰,融合多粒度时态信息,同时抑制异常帧的特征表达。步骤如下:提取行人原始帧级特征;提取各帧级行人关键区域信息;提取全局分支特征;多粒度空间注意力图网络更新帧级特征;多粒度时间注意力图网络获取行人视频序列级特征;损失函数训练网络。通过使用本发明可减少破坏身体结构,降低背景噪声的干扰,并抑制异常帧信息表达,显著提升视频行人重识别的性能。本发明作为一种基于注意力时空图网络的视频行人重识别方法,可广泛应用于视频行人重识别领域。
本发明授权一种基于注意力时空图网络的视频行人重识别方法在权利要求书中公布了:1.一种基于注意力时空图网络的视频行人重识别方法,其特征在于,步骤如下: 步骤1:使用基于ImageNet预训练模型的CNN特征提取器从行人视频序列中提取各帧图像特征; CNN特征提取器为使用ImageNet预训练模型的ResNet50网络,删除其倒数第一层分类层后,将最终步长设置为1以增加特征的分辨率;训练集中每个行人视频序列均含有帧图像,给定一个行人视频序列,将其帧图像输入到ResNet50网络中,假设提取第帧图像特征为,则行人视频序列的特征为各帧级特征的集合: 1; 式中,表示行人视频序列中图像帧数量;表示行人视频序列特征;表示由行人视频序列第帧提取的特征图,它的维度为,其中为特征图的通道数,为特征图的高度,为特征图的宽度;该特征图将作为全局分支和图分支的输入; 步骤2:将步骤1得到的视频行人序列特征输入到多粒度空间注意力模块中寻找各帧级行人关键区域信息; 多粒度空间注意力模块由基于重叠惩罚损失的个特征学习器构成;特征学习器由2个的卷积层组成,并通过ReLU激活进行分隔,对于行人视频序列中第帧特征图,每个具有相同结构的特征学习器分别学习中行人图像的判别区域,其中,第个特征学习器生成的空间注意力图为: 2; 式中,表示第个特征学习器;表示对应的空间注意力图,其维度为,其中表示空间注意力图的高度,与特征图的高度一致,表示空间注意力图的宽度,与特征图的宽度一致; 将第个特征学习器生成的空间注意力图进行softmax归一化处理,计算公式如下: 3; 式中,表示softmax归一化后的空间注意力图; 将个特征学习器得到的公式3归一化空间注意力图进行融合,计算公式如下: 4; 式中,表示融合后的归一化空间注意力图在位置处的值;表示第1个特征学习器生成的空间注意力图进行softmax归一化后的空间注意力图在位置处的值,表示第个特征学习器生成的空间注意力图进行softmax归一化的空间注意力图在h,w处的值; 经过公式3分别得到个特征学习器生成的归一化空间注意力图,使用重叠惩罚损失优化以增加关键区域的区分性,计算公式如下: 5; 式中,为特征学习器的数量;表示元素相乘,任意两个归一化空间注意力图进行元素相乘,共有种选择; 步骤3:使用步骤2得到的融合后的归一化空间注意力图和步骤1得到的行人视频序列特征提取全局分支特征; 经过步骤2得到融合后的归一化空间注意力图,提取步骤1得到的行人视频序列中第帧图像特征,将二者沿通道维度进行元素相乘运算,计算公式如下: 6; 式中,表示元素相乘; 将公式6得到的特征图与输入的图像特征混合,依次进行空间全局平均池化和时间平均池化操作,计算公式如下: 7; 式中,表示全局分支视频序列特征;表示时间平均池化;表示空间全局平均池化; 步骤4:使用公式3得到的softmax归一化后的空间注意力图,得到扩展关键区域,并利用步骤1得到的帧特征图构造空间图神经网络节点; 扩展步骤2中空间注意力图,计算扩展关键区域,计算公式如下: 8; 式中,表示空间注意力图最大响应值的空间横坐标;表示空间注意力图最大响应值的空间纵坐标;表示第个特征学习器;表示扩展后的空间注意力掩码,其中表示横坐标,表示纵坐标; 提取步骤1得到的第帧图像特征,构造空间图神经网络节点编码,计算公式如下: 9; 式中,表示元素相乘;表示第帧图像特征;表示扩展后的空间注意力掩码,为第个特征学习器,共有个特征学习器;表示空间全局平均池化;表示由第个特征学习器生成的空间图神经网络节点,上标表示节点; 步骤5:使用步骤4得到的空间图神经网络节点结合全局图像特征,构建空间图神经网络模块; 将步骤1得到的第帧图像特征进行空间全局平均池化,得到全局空间图节点,计算公式如下: 10; 式中,表示全局空间图节点;表示空间全局平均池化;表示第帧图像特征; 空间图神经网络节点数量,计算公式如下: 11; 式中,表示空间图神经网络节点数量,下标表示空间;表示特征学习器数量; 空间图神经网络各节点特征表示为: 12; 式中,表示空间图神经网络各节点初始化特征的集合,上标表示节点;表示空间图神经网络节点数量;中上标表示空间;表示空间图神经网络节点特征,其维度为表示空间图神经网络各节点通道数; 计算空间图神经网络各节点间成对关系,计算公式如下: 13; 14; 15; 式中,分别表示第个和第个空间图神经网络节点,其维度为,表示空间图神经网络节点通道数,和的上标表示空间;表示节点和之间的边关系;和表示特征空间转换;和表示权重矩阵,其维度为;表示矩阵转置操作; 引入归一化操作,将空间图神经网络节点边关系的每行权重限制在范围内,计算公式如下: 16; 式中,表示温度参数;下标和表示第个和第个空间图神经网络节点 使用表示空间图神经网络节点边关系的每行权重更新公式12得到的空间图神经网络各节点特征,更新方法如下: 17; 式中,表示第个空间图神经网络节点;表示原始第个空间图神经网络节点特征;表示更新后的第l个空间图神经网络节点特征;表示可学习的权重矩阵,其维度为,为通道数,下标表示空间;表示原始第个空间图神经网络节点特征; 利用步骤2多粒度空间注意力模块和空间图神经网络模块,基于空间注意力引导的图关系模型输出帧级特征,计算公式如下: 18; 式中,表示最大池化操作;为公式17得到的更新的空间图神经网络节点特征集合;表示空间注意力引导的图关系模型输出的帧级特征,其维度为; 步骤6:使用步骤5输出的帧级特征和时间自注意力模块,构建多粒度注意力时间图网络节点; 提取步骤5输出的帧级特征在时间维度集合,构建行人视频序列特征: 19; 式中,表示经过步骤5得到的帧级特征的集合,的维度为;表示视频序列包含的图像帧数; 对公式19得到的帧级特征集合转换特征空间,构建时间注意力掩码,计算公式如下: 20; 21; 22; 式中,为行人视频序列的时间注意力掩码;为公式19的行人视频序列特征;和表示特征空间,其维度为,为视频序列包含的图像帧数,为通道数,下标为注意力;和分别为和的权重参数矩阵;表示矩阵转置操作; 提取公式20的输出沿时间维度执行归一化操作,得到正则化的时间注意力掩码,再沿第一维度执行平均操作输出行人视频序列最终的时间注意力掩码,其维度为,表示行人视频序列包含的图像帧数;基于构建多粒度注意力时间图网络节点,计算公式如下: 23; 式中,表示按时间注意力权重对行人视频序列图像帧降序排序;表示融合前个公式19输出的行人视频序列各帧级特征;表示使用平均操作建立时间图网络节点特征;表示第个时间节点特征,上标表示当前变量属于时间图参数; 步骤7:提取步骤6的输出多粒度注意力时间图网络节点特征;和步骤5处理方式相同,得到时间图正则化关系矩阵;更新时间图网络节点特征;执行节点间关系融合;最终得到行人视频序列级特征,其维度为; 步骤8:使用交叉熵损失和难样本三元组损失训练网络,并使用步骤2重叠惩罚损失优化多粒度空间注意力模块,总损失函数计算公式如下: 24; 式中,下标表示交叉熵损失;表示难样本三元组损失;上标表示全局分支输出特征;上标表示图分支输出特征;上标表示帧级特征;表示重叠惩罚损失。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连理工大学,其通讯地址为:116024 辽宁省大连市甘井子区凌工路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励