买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院合肥物质科学研究院申请的专利一种基于多视角的行为识别方法及其应用获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115439936B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211124350.X，技术领域涉及：G06V40/20；该发明授权一种基于多视角的行为识别方法及其应用是由张俊;匡剑;李文静;李芳;任亭亭;蒋越;吴仲城设计研发完成，并于2022-09-15向国家知识产权局提交的专利申请。

本一种基于多视角的行为识别方法及其应用在说明书摘要公布了：本发明公开了一种基于多视角的行为识别方法及其应用，该方法包括：步骤S1：对驾驶员多视角下的驾驶同步视频进行数据集的划分以及数据的预处理操作；步骤S2：训练获取单视角对应的特征提取权重，并将其融入到多视角行为识别网络的特征提取部分；步骤S3：训练多视角下的行为识别网络，并在训练过程中引入重加权的损失计算方法；最终获得的网络可以有效的提升行为识别分类的准确性。

本发明授权一种基于多视角的行为识别方法及其应用在权利要求书中公布了：1.一种基于多视角的行为识别方法，其特征在于，包括如下步骤： 步骤1：行为视频数据的收集和预处理； 在真实场景下针对同一行为类别同步采集不同视角的视频数据并进行归一化预处理，从而得到多视角视频集合，记为，其中，表示任意第i个视角下预处理后的视频序列，且，表示第i个视角下预处理后的第k帧图像，I表示视角数，c表示图像帧数，令多视角视频集V对应的真实类别标签为； 步骤2：基于多视角的行为分类模型，包括：初级特征提取模块、中级特征提取模块和分类模块； 步骤2.1：所述初级特征提取模块由N级UMP模块组成，其中，第n级UMP模块由第n级模块和第n级最大池化模块组成； 所述第n级模块由X个块组成，每个块依次包括一个三维卷积层，一个批量归一化层，一个RELU函数激活层，其中，第x个块的三维卷积层的卷积核大小为；x=1,2,...X； 当n=1时，第i个视角下的视频序列输入第n级UMP模块中，并经过第n级模块的处理后，输出特征图，特征图再经过第n级最大池化模块的处理后，输出特征图； 当n=2,3,....N时，第n-1级UMP模块的输出作为第n级UMP模块的输入，并经过第n级模块和第n级最大池化模块处理的处理后，输出特征图；从而由第N级UMP模块输出特征图； 步骤2.2：所述中级特征提取模块由M级IBM模块组成，其中，第m级IBM模块由第m级Inception3D模块和第m级最大池化模块组成； 所述第m级Inception3D模块包括四个并行的分支，其中，第一个分支包括个三维卷积层，其中，第个三维卷积层的卷积核大小为，=1,2,...,；第二个分支包括个三维卷积层，其中，第个三维卷积层的卷积核大小为，=1,2,...,；第三个分支包括个三维卷积层，其中，第个三维卷积层的卷积核大小为，=1,2,...,；第四个分支包括个三维卷积层和一个池化层，其中，第个三维卷积层的卷积核大小为，=1,2,...,； 当m=1时，所述特征图输入到第m级IBM模块中，并经过分别第m级Inception3D模块中的四个分支的处理后，相应输出第一分支特征图、第二分支特征图、第三分支特征图、第四分支池化特征图，在通道维上对四个分支输出的特征图进行张量拼接，从而获得第m级Inception3D模块输出的拼接特征图，拼接特征图输入第m级最大池化模块进行处理后，输出特征图； 当m=2，3，...,M时，第m-1级IBM模块输出的特征图作为到第m级IBM模块的输入，并经过第m级Inception3D模块和第m级最大池化模块的处理后，输出特征图，从而由第M级IBM模块输出特征图； 步骤2.3：所述分类模块包括Y个三维卷积层和一个平均池化层，其中，所述分类模块的第y个三维卷积层的卷积核大小为；y=1,2,...Y； 所述特征输入到分类模块中，先经过平均池化层的操作后，获得池化后的特征，再依次经过Y个三维卷积层的处理后，获得第i个视角下的视频序列的分类特征图谱； 步骤2.4：利用式1构建行为分类模型在第i个视角下的交叉熵损失函数： =1 步骤2.5：利用梯度下降法对所述行为分类模型进行初步训练，并计算交叉熵损失函数，直到交叉熵损失函数收敛为止，从而获得第i视角对应的初步训练后的初级特征提取模块的最优权重以及中级特征提取模块的最优权重； 步骤2.6：所述多视角视频集合经过初步训练后的初级特征提取模块和中级特征提取模块的处理后，获得多视角下的行为特征图谱集合= {}后在时间维上进行张量拼接，获得融合特征，其中，表示第i个视角下的视频，经过特征提取后得到的特征图； 步骤2.7：所述融合特征经过初步训练后的分类模块的处理后，获得分类特征图谱； 步骤2.8：对所述分类特征图进行维度压缩后，获得多视角视频集合的最终分类结果； 步骤3：利用式2构建多视角下第E轮训练的行为分类模型的损失函数： 2 式2中，表示易分类程度损失，并由式3得到，表示难分类程度损失，并由式4得到，表示当前第E轮训练下的难易分类损失重要性占比，并由式5得到； 3 4 5 式5中，f表示控制参数，E表示当前训练的轮数，Emax表示总训练的轮数； 在冻结初步训练后的初级特征提取模块的最优权重以及中级特征提取模块的最优权重的情况下，利用梯度下降法对初步训练后的行为识别分类模型进行训练，并计算损失函数，直到交叉熵损失函数收敛或达到最大轮数Emax为止，从而得到多视角下的最优行为识别网络，用于对多视角下的行为进行识别分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院合肥物质科学研究院，其通讯地址为：230031 安徽省合肥市蜀山区蜀山湖路350号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。