买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉四川大学申请的专利一种基于时空交互Transformer和物体交互性预测的视频动作识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119785426B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411839370.4，技术领域涉及：G06V40/20；该发明授权一种基于时空交互Transformer和物体交互性预测的视频动作识别方法及系统是由胡勇;李享名设计研发完成，并于2024-12-13向国家知识产权局提交的专利申请。

本一种基于时空交互Transformer和物体交互性预测的视频动作识别方法及系统在说明书摘要公布了：本发明涉及计算机视觉技术等领域，公开了一种基于时空交互Transformer和物体交互性预测的视频动作识别方法及系统，所述方法通过整合时空交互Transformer和物体交互性预测STIP构建视频动作识别系统，能够有效地识别和分析视频中的动作，特别在多人交互场景也有较好效果，包括下述具体步骤：对原始视频进行预处理，获取必要的包括视频帧序列和多模态特征的视频数据；将预处理后的视频数据编码为离散的令牌序列；将该令牌序列输入Transformer，进行M层自注意力计算，提取时空特征；使用物体交互性预测模块，对视频数据中物体之间的交互关系进行判断和建模；利用融合后的多模态特征进行分类，输出视频中的动作类别。

本发明授权一种基于时空交互Transformer和物体交互性预测的视频动作识别方法及系统在权利要求书中公布了：1.一种基于时空交互Transformer和物体交互性预测的视频动作识别方法，其特征在于：包括下述具体步骤： 1输入视频嵌入以及查询向量初始化： 对原始视频进行预处理，获取必要的包括视频帧序列和多模态特征的视频数据，包括下述具体步骤： 1.1原始视频帧序列获取： 稀疏采样：对原始视频进行稀疏采样，获取固定数量的t帧形成帧序列F，且F＝{f1,f2,.....ft}，作为模型的输入；特征提取：对帧序列F使用卷积神经网络提取视觉特征，生成视频特征表示V，且V＝{v1,v2,.....vt}，其中vt表示第t帧提取的高维特征向量； 1.2时空块嵌入细化处理： 帧序列划分：将帧序列F在时间和空间维度上划分为大小为i×h×w的时空块，将每个时空块展开为一维向量，通过线性映射转换为嵌入表示，得到令牌序列Xemb；然后为令牌序列Xemb添加时间和空间的位置编码PEtime和PEspace；最后得到输入Transformer的令牌序列： TokenVideo＝Xemb+PEtime+PEspace； 其中，在时间维度上：将I帧按每i帧划分，得到个时间块；在空间维度上：将每帧的高和宽分别按h和w像素划分，得到个高度块，个宽度块，其中，H和W为帧的高度和宽度；时空块总数为N＝ni×nh×nw； 1.3查询向量初始化： 多模态特征提取：使用CNN提取视频特征表示V，使用VGGish提取音频特征A，使用BERT提取文本特征T； 特征嵌入与融合：将各模态特征嵌入到统一的特征空间；然后通过加权求和进行初步融合：Q＝Wv×V+Wa×A+Wt×T+b；其中，Wv、Wa、Wt为各模态的权重矩阵，b为偏置项； 2视频嵌入编码与Transformer处理： 将预处理后的视频数据编码为离散的令牌序列；将该令牌序列输入Transformer，进行M层自注意力计算，提取时空特征； 3物体交互性预测： 使用物体交互性预测模块，对视频数据中物体之间的交互关系进行判断和建模，具体包括： 3.1特征整合： 将时间步t的视频特征、音频特征和文本特征进行融合： Ft＝ConcatVt,At,Tt； 3.2动态门控机制： 调整特征权重：利用交互性得分St对融合后的特征进行加权，突出与动作相关的物体： Fe＝St×Ft； 4多模态特征融合与分类： 将经过处理的特征向量与其他模态的特征进行融合；利用融合后的多模态特征进行分类，输出视频中的动作类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人四川大学，其通讯地址为：610065 四川省成都市武侯区一环路南一段24号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。