买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学;北京航空航天大学杭州创新研究院申请的专利一种基于多流融合图卷积网络的行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114187653B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111356801.8，技术领域涉及：G06V40/20；该发明授权一种基于多流融合图卷积网络的行为识别方法是由金城;胡海苗;段梦梦设计研发完成，并于2021-11-16向国家知识产权局提交的专利申请。

本一种基于多流融合图卷积网络的行为识别方法在说明书摘要公布了：本发明属于行为识别技术领域，具体为一种基于多流融合图卷积网络的行为识别方法。本发明主要通过提取并融合多类行为信息进行行为识别，分为三个阶段进行：数据预处理、特征提取、特征融合。在数据预处理阶段，提出三种骨架规范化措施，减少人体位置、摄像机视角和人体与摄像机距离等因素对人体骨架数据表示的影响；在特征提取阶段，构建骨架的全局连接图，直接学习远距离关节点之间的相互关系；在特征融合阶段，分两阶段来融合三类信息的特征。本发明针所提出的方法更加有效的利用了多类行为的互补信息，提出的骨架规范化措施使得人体骨架的表示具有仿射不变性，降低了网络的训练难度，在公开数据集上取得了较好的结果。

本发明授权一种基于多流融合图卷积网络的行为识别方法在权利要求书中公布了：1.一种基于多流融合图卷积网络的行为识别方法，其特征在于，其分为3个阶段：数据预处理、特征提取、特征融合；其中： 数据预处理阶段，利用骨架规范化模块对输入的人体骨架序列数据即关节点数据进行处理，得到规范化的人体骨架序列数据，然后进一步通过求得相邻关节点之间构成的向量获得骨骼数据，通过求得相邻帧之间的同一个关节点的位移获得运动数据；其中：人体骨架序列数据表示为T表示骨架序列的长度，T取300，xt∈RV×C表示第t个骨架的关节点坐标，V表示人体骨架中关节点的数目，V＝14，C表示关节点坐标的维度，C＝3，表示每个关节点有x、y、z三个坐标； 其中，人体关节编号及其含义如下： 0：颈；1：头；2：右肩；3：右肘；4：右腕；5：左肩；6：左肘；7：左腕； 8：右臀；9：右膝；10：右踝；11：左臀；12：左膝；13：左踝； 特征提取阶段，利用时空图卷积网络分别提取关节点数据、骨骼数据和运动数据的时空特征，获得关节点特征、骨骼特征和运动特征； 特征融合阶段，利用多流特征融合网络进一步融合关节点特征、骨骼特征和运动特征，再通过分类器得到行为的预测结果；利用多流特征融合网络进行融合的方法如下： 第一阶段，首先将三种特征两两拼接，将拼接后的特征输入到两个连续的图卷积单元，融合两类信息的特征；之后，将融合的特征输入到池化层； 第二阶段，池化层后连接两个全连接层，两个全连接层中有一个ReLU层，得到三个分类特征f0、f1和f2，然后融合三路特征得到总体分类特征f3，f3＝f0+f1+f2；其中： 特征提取阶段中，通过时空图卷积网络来提取关节数据、骨骼数据和运动数据的时空特征，时空图卷积网络的实现步骤如下： 1构建人体骨架时空图 人体骨架时空图的构建分为三步： a对于骨架序列X3及人体生理上相邻的关节点集合H，H的定义如下所示，对X3中的每个xt 3，连接其生理上相邻的关节点，得到部分空间边，从而构建局部连接图； H＝{0,1,0,2,0,5,2,3,3,4,5,6,6,7, 8,9,9,10,11,12,12,13} b给定集合M，M为生理上不相邻但却紧密联系的关节点集合，其定义如下所示，对给定的骨架序列X3中的每个根据M建立边，得到全局连接图；与步骤a中得到的局部连接图组成骨架空间图GS＝{V,ES}，其中V表示关节点集合，V＝{vt,i|t＝1…T,i＝0…N-1}，T为骨架序列的长度，N为骨架中关节点的个数，且ES为空间边的集合，ES＝{vt,ivt,j|i,j∈U}，U为H和M的并集； M＝{1,4,1,7,4,7,4,13,4,10,7,10,7,13,10,13} c对于步骤b中得到的骨架空间图GS，在相邻帧之间的骨架空间图中建立同一关节点间的时间边，得到时间边的集合ET，ET＝{vt,ivt+1,i|t＝1…T-1,i＝0…N-1}，从而得到骨架时间图GT＝{V,ET}，最终得到骨架时空图G＝{V,E}，其中E＝{ES,ET}，G＝{GS,GT}； 2时空图卷积 在步骤1得到的人体骨架时空图上进行时空图卷积，空间上的图卷积采用ST-GCN实现，并引入2S-AGCN中提出的两种自适应图，时间上的图卷积采用一个9×1的一维卷积来实现； 特征提取阶段中，时空图卷积网络由一个批规范化BN层和六个连续的时空图卷积单元堆叠而成；每个时空图卷积单元结构一致，包括空间图卷积GCN-S、BN层、ReLU层、Dropout层、时间图卷积GCN-T、BN层、ReLU层和一个残差连接。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学;北京航空航天大学杭州创新研究院，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。