买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利一种基于跨模态融合的视频行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116311525B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310292682.7，技术领域涉及：G06V40/20；该发明授权一种基于跨模态融合的视频行为识别方法是由周毓轩;李宏亮;谢晶晶;梁悦;刘黛瑶;万金鹏;孟凡满;吴庆波;许林峰;潘力立设计研发完成，并于2023-03-23向国家知识产权局提交的专利申请。

本一种基于跨模态融合的视频行为识别方法在说明书摘要公布了：本发明提供一种基于跨模态融合的视频行为识别方法，包括以下步骤：对视频流进行下采样处理，将下采样后的各帧图像划分为像素块，采用线性投射层计算出图像特征向量输入Transformer空间编码器得到每帧视频的图像特征序列；对惯性运动传感器数据进行分段处理，逐段地对数据采用线性映射升维再输入Transformer时序编码器传感器特征序列；将图像特征序列作为键和值向量，将传感器特征序列作为查询向量输入带掩码Transformer时间编码器得到时序融合后的多模态特征，将多模态特征输入多层感知机MLP，由MLP输出视频识别的结果。本发明通过空间编码的Transformer和时间编码的Transformer联合地从视频流数据和惯性运动传感器数据中提取时空语义特征和人体运动特征，并基于跨模态编码的Transformer方法完成行为识别。

本发明授权一种基于跨模态融合的视频行为识别方法在权利要求书中公布了：1.一种基于跨模态融合的视频行为识别方法，其特征在于，包括以下步骤： 视频数据处理步骤：对视频流进行下采样处理，将下采样后的各帧图像划分为无重叠的像素块，采用线性投射层计算出图像特征向量，再将特征向量输入Transformer空间编码器得到每帧视频的图像特征序列； 惯性运动传感器数据处理步骤：对传感器数据进行分段处理，逐段地对数据采用线性映射升维得到运动特征向量，再将传感器特征向量输入Transformer时序编码器得到与特征表示维度对齐的时间片段的传感器特征序列； 视频识别步骤：将图像特征序列作为键和值向量，将传感器特征序列作为查询向量输入带掩码Transformer时间编码器，带掩码Transformer时间编码器通过交叉注意力方式逐段融合图像特征序列与传感器特征序列，将Softmax计算之后的权重矩阵与掩码矩阵进行逐元素乘积得到时序融合后的多模态特征，将多模态特征输入多层感知机MLP，由MLP输出视频行为识别的结果；所述掩码矩阵为主对角线及以下元素为1，其余元素为0的矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新区（西区）西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。