买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京航空航天大学申请的专利一种基于双流网络架构的ViT的人体行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115797827B 。

龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211446673.0，技术领域涉及：G06V20/40；该发明授权一种基于双流网络架构的ViT的人体行为识别方法是由袁家斌;邰爱兵;查可可设计研发完成，并于2022-11-18向国家知识产权局提交的专利申请。

本一种基于双流网络架构的ViT的人体行为识别方法在说明书摘要公布了：本发明公开了一种基于双流网络架构的ViT的人体行为识别方法，先对输入视频进行预处理，得到场景图像和稀疏采样后的图像，然后通过处理后的图像，计算出相对应图像的光流图像，然后分别建立空间特征提取网络和时序特征提取网络模型，分别将RGB图像与光流图像输入到网络模型中，训练得到人体行为分类结果，并将两个网络的结果进行加权和得到最终结果。通过上述方式，完成视频的人体行为识别，本发明能够充分利用动作的时序特征辅助图像识别行为动作的发生，通过ViT对时序特征处理的优势，将时序特征的融入，提高了行为识别的准确率。

本发明授权一种基于双流网络架构的ViT的人体行为识别方法在权利要求书中公布了：1.一种基于双流网络架构的ViT的人体行为识别方法，其特征在于，包括以下步骤： 步骤1：对输入视频进行预处理，将视频流数据转变为图像RGB帧以及TVL1光流图像； 步骤2：分别建立图像RGB帧和TVL1光流图像的特征提取模型； 所述步骤2包括以下步骤： 步骤21：选择使用Resnet50+ViT-B16的复合网络识别模型，在ImageNet21K上的进行了预训练； 步骤22：光流网络与RGB图像网络两个分开训练，RGB图像网络主要获取视频动作的空间的特征，光流网络主要获取视频动作的时序特征，同时由于光流图片是单通道的数据，RGB图像是三通道的数据，所以光流网络的部分的前置卷积会更改为双通道适应光流图像的输入； 步骤3：通过对RGB帧和TVL1光流图像的特征进行Softmax分类，并将多帧之间的结果进行加权和得到结果； 所述步骤3包括以下步骤： 步骤31：给定一个视频V，结合步骤1中对视频数据的处理，将其平均分成K段，K个视频段记做{S1,S2,S3,…,SK}，每个视频的识别的结果RT1,T2,T3,…,TK表示为： RT1,T2,T3,…,TK＝FHGT1,W,GT2,W,…,GTK,W 其中：T1,T2,T3,…,TK是一个片段序列，所述片段序列是从相应的SK视频段中随机抽样的每个帧TK；GTK,W是代表参数为W的识别模型对TK帧在所有类别中的识别结果；函数H是用来组合多个帧的输出结果，函数H选择了avg函数，求其在每个类别上的平均值，F函数是预测整个视频的结果的预测函数，用Softmax函数与分类交叉熵损失函数相结合训练模型，loss损失函数Lm,R则表示为： 其中：C为动作的分类数量，i和j是其中的一个具体的类别，mi为每一个视频对应的分类标签i，Ri和Rj是每一个视频在相应类别上的识别结果； 步骤4：输入对应视频数据，经过前面预处理之后的获取视频对应的RGB帧与对应光流图像，并输入已训练好的双流ViT模型中，得到分类结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京航空航天大学，其通讯地址为：211106 江苏省南京市江宁区将军大道29号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。