买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连民族大学申请的专利一种二阶Transformer建模的视频行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115830491B 。

龙图腾网通过国家知识产权局官网在2026-01-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211436285.4，技术领域涉及：G06V20/40；该发明授权一种二阶Transformer建模的视频行为识别方法是由张建新;董微;张冰冰;张强设计研发完成，并于2022-11-16向国家知识产权局提交的专利申请。

本一种二阶Transformer建模的视频行为识别方法在说明书摘要公布了：本发明公开了一种基于二阶Transformer建模的视频行为识别方法，包括：获取包含视频数据及标签的视频数据集，将视频数据集划分为训练集和测试集，并对视频数据集进行抽帧；将预训练的二阶Transformer架构作为骨干网络，该骨干网络使用二阶分类头进行数据分类；在该骨干网络中设计两种不同的时间建模方式，其一是在该网络中间的编码器内部插入标记移位模块和时空注意力模块，其二是在该网络的前端将3D时序卷积插入到标记嵌入模块中，从而构建出视频二阶Transformer网络；使用训练集训练视频二阶Transformer网络，训练过程包括网络特征的前向传播和误差的反向传播；训练模型时每次迭代更新网络参数，使用最优权重初始化视频二阶Transformer网络，在测试集上对该网络的性能进行评估。

本发明授权一种二阶Transformer建模的视频行为识别方法在权利要求书中公布了：1.一种基于二阶Transformer建模的视频行为识别方法，其特征在于包括： 获取包含视频数据及标签的视频数据集，将视频数据集划分为训练集和测试集，并对视频数据集进行抽帧； 将预训练的二阶Transformer架构作为骨干网络，该骨干网络使用二阶分类头进行数据分类； 在该骨干网络中设计两种不同的时间建模方式，其一是在该网络中间的编码器内部插入标记移位模块和时空注意力模块，其二是在该网络的前端将3D时序卷积插入到标记嵌入模块中，从而构建出视频二阶Transformer网络； 使用训练集训练视频二阶Transformer网络，训练过程包括网络特征的前向传播和误差的反向传播； 训练模型时每次迭代更新网络参数，并且对视频帧进行验证，根据最优验证集精度保存视频二阶Transformer网络的最优权重，使用最优权重初始化视频二阶Transformer网络，在测试集上对该网络的性能进行评估； 在该网络的前端将3D时序卷积插入到标记嵌入模块时：对于3D时序卷积，视频片段被划分为非重叠的块，送入标记嵌入模块中，在该模块的每个残差块之前以残差方式插入3D卷积，从而增强时间维度上的特征建模； 在该网络中间的编码器内部插入标记移位模块和时空注意力模块时： 每个视频片段有T个类标记构成标记矩阵c∈RT×D，标记移位模块首先沿通道维度将标记矩阵划分为三个部分，如下所示： c＝[ca,cb,cc],ca,cb,cc∈RT×a,RT×b,RT×c 将一帧头部和尾部的分割内容ca和cc分别与其之前或之后的时间戳进行交换，cb的内容保持不变，对于第t帧t＝1,2,...,t，通过以下等式实现跨相邻帧的交换： cat＝cat-1 cbt＝cbt cct＝cct+1 在插入时空注意力模块时，将视觉标记X进行线性变换操作，该线性变换包括3个独立的卷积操作，视觉标记X的维度从D减少到C＝D2，得到的特征向量Q、K、V，经过公式为的矩阵乘法获得注意力得分矩阵Y，注意力得分矩阵Y中记录了两个视觉标记之间的所有成对相似性，使用softmax函数沿行方向对相似度矩阵进行乘以V的归一化处理，恢复注意力得分矩阵Y的形状，对注意力得分矩阵Y进行卷积操作，使用残差连接将输入视觉标记X添加进去，计算过程如下： Q＝flattenYWQ,K＝flattenYWK,V＝flattenYWV。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连民族大学，其通讯地址为：116000 辽宁省大连市金州新区辽河西路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。