北京工业大学;北京诚星科技有限公司何坚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京工业大学;北京诚星科技有限公司申请的专利基于时序线性人体蒙皮模型和图卷积网络的四方向交警手势识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115731613B 。
龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211424842.0,技术领域涉及:G06V40/20;该发明授权基于时序线性人体蒙皮模型和图卷积网络的四方向交警手势识别方法是由何坚;吕孟飞;张丞;熊哲波设计研发完成,并于2022-11-14向国家知识产权局提交的专利申请。
本基于时序线性人体蒙皮模型和图卷积网络的四方向交警手势识别方法在说明书摘要公布了:基于时序线性人体蒙皮模型和图卷积网络的四方向交警手势识别方法属于电子信息领域。本方法利用时序线性人体蒙皮模型SMPL重建交警指挥手势的动力树,并根据时间上下文信息构建交警手势时序动力学图模型。其次,针对现有图结构划分策略受限的问题,提出了一种基于相对高度的图卷积内核标签划分策略RHPS,并设计了一种基于相对高度的图卷积网络RHGCN。最后,融合RHGCN以及空间域平均预测器SMP设计实现了基于单目视觉的四方向交警手势识别器MTPGR。本发明有效完成四方向交警手势识别的任务需求,识别效果Jaccard系数达到0.908,相比现有单方向手势识别方法提高0.137,识别准确率显著提升。
本发明授权基于时序线性人体蒙皮模型和图卷积网络的四方向交警手势识别方法在权利要求书中公布了:1.基于时序线性人体蒙皮模型和图卷积网络的四方向交警手势识别方法,其特征在于,包括以下三个部分: 建立交警指挥手势的时序动力学图模型 交警指挥手势的时序动力学图模型TSKG是基于蒙皮多人线性模型SMPL,并依据交警手势识别的功能需求而构建的;TSKG同时表示不同关节在空间上的动力学关系,和不同帧中的相同关节在时间序列上的关系; TSKG定义为一个无向图G=V,E;其中,是顶点集,E是所有边的集合,NJ表示关节数量,T表示图记录的总时长;V={vj,t|j∈1,…,J,t=1,…,T},1,…,J表示NJ个不同的关节,每个顶点表示3维关节坐标,表示x维的实数域空间;图中边集E由公式1所示的2个子集组成; E=ES∪ET#1 其中,表示每一帧中关节之间的动力学关系,表示同一关节节点在相邻帧之间的时域关联;ES由公式2描述的3组边的并集组成; 其中,EK表示动力学连接集,EA表示辅助集,EC表示回路集;集合EK包含根据人体骨骼自然连接的边,如左臂和左肘;集合EA包含手工添加到图中的边,用于保持图的联通性;集合EC包含图中全部顶点与自身形成的环路,用于将顶点的特征加入图卷积计算; 时域关联边集合ET包含空间上相同、时间域相邻的顶点之间连接形成的边,如公式3所示; ET={vj,t,vj,t+1|j∈1,…,J,t=1,…,T-1}#3 式中,顶点vj,t和vj,t+1代表2个连续帧中的相同关节; 2.使用相对高度划分策略RHPS的图卷积网络RHGCN MTPGR的图卷积网络部分的关键特征包含两个方面,相对高度划分策略和图卷积网络的网络结构; 相对高度划分策略为每个关节分配一个高度值,并将其作为标签进行比较从而获取距离,进而确定图卷积核参数和邻接顶点之间的对应关系;RHPS根据标准站立姿势下关节的相对高度,为关节分配高度值s;卷积核中心对应顶点为vj,t时,关节vn,t的标记函数如公式5所示; 其中,sn和sj分别表示关节vn,t和关节vj,t的高度值; 使用RHPS的图卷积网络RHGCN将TSKG模型中的无向时空图G作为输入,其中顶点集合V作为输入特征,边集合E作为符合RHPS规则的邻接矩阵,输出如公式6所示手势特征集YG; 其中,WG表示RHGCN的模型参数,YG表示输出手势特征;表示图卷积网络RHGCN,由多个输出通道数不同的时空图卷积层STGCL顺序连接组成,设置为4个输出通道数为64的STGCL、3个输出通道数为128的STGCL和3个输出通道数为256的STGCL; 其中每个STGCL为一个残差块结构,由7个部分组成,依次为残差层起始位置、空间图卷积层、注意力层、ReLU激活层、时间卷积层、残差层结束位置、ReLU激活层;空间图卷积层依照RHPS,使用3*3的卷积核进行图卷积计算,对对每条边乘上注意力权重后,再对计算结果使用ReLU激活函数进行激活,将结果输出到时间卷积层,在时间维度上使用3*3的卷积核再进行图卷积计算;残差层将以上从空间图卷积层到时间卷积层的计算部分作为残差部分,与直接映射部分相加,以提高网络训练效率;最后使用ReLU激活函数激活残差层求和的结果,输出到下一个STGCL; 3.融合RHGCN和空间域平均预测器SMP的四方向单目交警手势识别器MTPGR 空间域平均预测器是MTPGR中网络结构的最后一部分,与RHGCN相连;它在空间维度上对图进行平均池化操作,并保留时间维度以配合多对多的预测模式,为每一帧预测一个手势类别; SMP用于从输入图G后RHGCN输出的手势特征YG中对手势进行分类;YG可以用标量yG按公式7展开为集合的形式; 其中,CG代表输出中的通道数,NJ和T代表关节数和持续时间;由此,空间平均预测器SMP的计算如公式8所示; 其中,表示通道c上的空间特征值yG在时间点t的平均值,再以公式9获取代表每类手势得分的向量; 其中,向量 表示一个全连接网络,WF为该网络参数,是一个向量,表示每个手势类别的得分,K表示手势类别数量;t时刻的手势类别kt如公式10所示;
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京工业大学;北京诚星科技有限公司,其通讯地址为:100124 北京市朝阳区平乐园100号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。