买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利具有再注意机制的卷积注意力弱监督时序动作定位方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116883908B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310931516.7，技术领域涉及：G06V20/40；该发明授权具有再注意机制的卷积注意力弱监督时序动作定位方法是由朱素果;刘子文;余宙;俞俊设计研发完成，并于2023-07-27向国家知识产权局提交的专利申请。

本具有再注意机制的卷积注意力弱监督时序动作定位方法在说明书摘要公布了：本发明公开了一种具有再注意机制的卷积注意力弱监督时序动作定位方法，本发明利用卷积注意力挖掘全局局部信息，并通过再注意进行细化以进行弱监督时序动作检测。步骤如下：1、数据预处理，提取视频数据的初始时空特征。2、具有再注意机制的卷积注意力模型，搭建带有多头自注意力机制的多阶段模型，引入三个辅助分支分别对动作，背景和动作上下文进行学习。3、模型训练，利用反向传播算法训练神经网络参数。4、生成定位检测结果。本发明提出一种弱监督时序动作定位领域中利用卷积注意力机制挖掘局部和全局时序信息，并通过再注意细化注意力权重的多阶段方法，同时通过辅助分支挖掘额外信息，相比于原始方法在性能上有了不少提升。

本发明授权具有再注意机制的卷积注意力弱监督时序动作定位方法在权利要求书中公布了：1.具有再注意机制的卷积注意力弱监督时序动作定位方法，其特征在于： 1、数据预处理：对视频数据抽取图像帧并使用TVL-1算法抽取光流；对于抽取好的图像和光流，使用基于Kinetics数据集预训练的I3D模型分别提取图像和光流对应的图像特征和光流特征，然后将这两个特征在特征维度上进行拼接，以整合输入视频的外观特征和运动特征，将视频特征缩放到固定的时间长度，并通过线性插值获得完整的视频数据特征； 2、搭建具有再注意机制的卷积注意力网络模型： 首先通过卷积对视频数据特征进行下采样，然后根据注意力机制自适应地学习节点之间的重要性；采用多头的形式对节点进行注意力权重的计算，最后再融合得到所有节点的输出权重；再注意模块对多头自注意力的输出权重根据累积重要性进行选择，使用选择得到的高重要性权重对多头自注意力的输出特征进行再注意，通过设定不同的阈值能够选择得到不同尺度的累积重要性； 通过多个阶段在不同特征维度挖掘特征，通过卷积将各阶段的特征投影到相同维度并进行拼接，最后输入卷积分类器得到类激活序列，该序列指示了每个类别在视频中每一帧的激活概率，通过top-k聚合策略得到动作分类分数；同时增加3个辅助分支：通过动作抑制分支、背景抑制分支和上下文分支分别学习背景、动作和动作上下文，每个分支包含两个卷积模块用于调整特征使其适应后续训练，通过卷积分类器得到三个类激活序列，通过top-k聚合策略得到各自的动作分类分数；两个抑制分支在最开始分别使用一个过滤器抑制动作和背景； 3、模型训练：根据步骤12得到的动作分类分数，利用交叉熵损失，通过视频级类别标签对动作分类分数进行约束，通过背景熵损失使背景片段的动作概率熵最大化，通过引导损失在视频片段水平上指导加权的类激活序列抑制背景片，利用反向传播算法BP对模型参数进行训练； 4、生成定位检测结果：对于背景抑制分支得到的类激活序列与动作分类分数，在C个候选类别中，丢弃视频级动作分类分数低于设定阈值的类别；选取置信度大于设定阈值的类别的类激活序列，将动作分类分数高于阈值的连续帧作为预测动作实例，获得该预测动作实例的起始时间和结束时间；然后，通过外部-内部对比策略确定该预测动作实例的置信度得分； 步骤2中搭建具有再注意机制的卷积注意力网络模型，具体实现如下： 2-1.卷积注意力:采用多头自注意力机制让多个头各自自适应的学习不同的注意力权重，具体来说，对于输入X，对于第1个阶段的第j个注意力块，时序卷积将输入X的特征维度D投影到D0，得到X0；之后的阶段将D0不断扩展；第一个阶段X0经过全局关系块中的多头注意层，多头注意层由H个注意力头组成，对于每个头i∈{1，...，H}，输入Xj投射到Qij＝WijQXj，Kij＝WijKXj和Vij＝WijVXj，其中WijQ、WijK、代表线性层的权重，Dh＝D0H代表每个头的特征维度；因此，头i的自注意力被计算为： 其中，为输出权重，然后将不同注意力头的输出与一个额外的线性层混合得到全局模块的输出特征 其中WjO表示线性层的权值，Xj为线性层的偏置项，多头注意力层的输出特征大小与输入特征大小相同； 2-2.再注意机制:将多头注意力的输出特征Mj和输出权重Wj输入再注意模块，再注意模块对多头自注意力的输出权重根据累积重要性进行选择，使用选择得到的高重要性权重对多头自注意力的输出特征进行再注意； 利用累积分布采样方法构建自适应阈值，具体操作为： 对初步注意力结果W归一化并按从大到小排序得到排序权重S，并构建累积重要性I，j＝0,...,T，W∈RH×T×T，T表示视频时序长度；针对累积重要性确定固定阈值τ'，则针对初步注意力结果W生成自适应阈值，设置标记参数b＝[Iτ']表示所选帧是否存在的二进制掩码； 然后使用标记参数b进行再注意，先根据标记参数b生成选择矩阵B用于再注意，选择矩阵B是一个二进制矩阵，其中每一项为Bu,v，意味着第v帧将用于第u帧的更新；通过选择矩阵B将注意力块中的自注意模块替换为掩码自注意模块，得到掩码注意力，如下所示: 其中，A乘上多头自注意力的输出特征M得到再注意输出score，score经过全连接层和掩码softmax层，产生重要性权值λ；根据重要性权值λ从修剪后的输出权重W中检索权重值得到再注意向量，再注意向量定义为: W'＝W⊙JT-b+λr6 其中，bk表示第k帧的标记参数；J是一个其中每个元素都等于1的矩阵；得到再注意向量 这里将X0输入两个具有不同τ'的再注意模块得到不同尺度的再注意向量W'1和W'2，然后进行平均得到最终再注意分数，再注意分数与多头自注意力的输出特征M相乘，再加上X0作为残差得到再注意模块的输出； 其他阶段的过程与此类似，区别在于输入特征的特征维数不同，将所有阶段挖掘到的信息输入混合器进行混合，形成统一的视频表示，最后输入卷积分类器； 2-3.辅助分支：对于上下文分支，给定输入特征X，首先输入BaseModule，包含两个frames-specific卷积；具体来说，首先通过一个卷积生成嵌入，对于嵌入的相邻帧通过计算余弦相似度，生成一个相似度掩码，将相似度掩码加入卷积计算过程，得到frames-specific卷积；输入特征X经过BaseModule之后，结果输入卷积分类器，得到类激活序列S，其中卷积分类器是一个时序卷积；然后利用top-k聚合策略来计算视频级动作分类分数； 动作抑制分支和背景抑制分支与上下文分支类似，不过在前端有一个过滤模块，对动作抑制分支来说，该过滤模块抑制动作分数，从而显式地建模背景，剩下的过程与上下文分支和背景抑制分支类似，只是输入的特征图不同，除了过滤器之外，其他模块与其他分支共享参数；在计算损失时，动作抑制分支的标签y的前C个类设置为0，最后一个类也就是背景类的标签设置为1；上下文分支的标签y的C+1个类都设置为1；背景抑制分支的标签y的前C个类设置为1，最后一个类设置为0。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。