中国海洋大学解翠获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国海洋大学申请的专利基于三维人体姿态估计的体感交互帆船操纵模拟方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120428850B 。
龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510419871.5,技术领域涉及:G06F3/01;该发明授权基于三维人体姿态估计的体感交互帆船操纵模拟方法及系统是由解翠;车明美;董军宇设计研发完成,并于2025-04-03向国家知识产权局提交的专利申请。
本基于三维人体姿态估计的体感交互帆船操纵模拟方法及系统在说明书摘要公布了:本发明属于帆船操纵模拟技术领域,公开了基于三维人体姿态估计的体感交互帆船操纵模拟方法及系统。该方法利用摄像机实时捕获实景图片,利用2D姿态检测器获取2D人体姿态;将所述2D人体姿态输入图引导状态空间增强的三维人体姿态估计方法中,计算3D人体姿态;将获得的3D人体姿态映射到帆船运动操作虚拟场景中的体感操控模块,实现基于体感动作的交互操作。本发明融合了时空拓展的图卷积模型的局部特征提取优势以及层次关节增强的选择性状态空间模型的全局特征提取优势,在保证模型实时性的同时,在公共数据集的测试中展现了其在精度上的优势,更加适用于体感交互的帆船操纵模拟任务。
本发明授权基于三维人体姿态估计的体感交互帆船操纵模拟方法及系统在权利要求书中公布了:1.一种基于三维人体姿态估计的体感交互帆船操纵模拟方法,其特征在于,该方法包括以下步骤: S1,利用摄像机实时捕获实景图片,利用2D姿态检测器获取2D人体姿态; S2,将2D人体姿态输入到图引导状态空间增强的三维人体姿态估计方法中,计算3D人体姿态; S3,将获得的3D人体姿态,映射到帆船运动操作虚拟场景中的体感操控模块,实现基于体感动作的交互操作; 在步骤S2中,图引导状态空间增强的三维人体姿态估计方法,包括: S21,将PoseFormerV2模型修改成适用于实时估计的基准模型,该基准模型以目标帧过往的t帧二维姿势序列为输入; S22,利用SGJMamer层从目标帧过往的f帧姿势中提取局部空间特征,利用TGJMamer层从完整输入的低频信息和SGJMamer提取的空间特征中提取全局时空特征Y;其中,SGJMamerTGJMamer层,均由STE-GCN模块、JMamba模块和Transformer模块组成;SGJMamerTGJMamer层中的Transformer模块分别为空间Transformer模块和时间Transformer模块;JMamba模块引入层次关节增强的选择性状态空间模型提升模型对全局特征提取的能力;STE-GCN模块通过时空拓展的图卷积网络学习关节的图结构关系; S23,构建回归头对目标帧关节点信息的推断,构建损失函数对目标帧关节点进行训练,进而输出目标帧三维姿态; 步骤S221,构建图状态空间Transformer层SGJMamer,进行局部空间特征提取包括: 目标帧过往的f帧信息[xt-f,xt]为输入,依次经过STE-GCN模块与JMamba模块,获得特征XSpaGJMamba;数据将送入空间Transformer模块; 其中,STE-GCN模块通过时空扩展邻接矩阵,预定义同一帧内关节之间的空间连接以及同一关节在不同帧中的时间依赖性,进而通过图卷积处理提取关节之间的时空依赖关系; STE-GCN模块提取关节之间的时空依赖关系的处理过程为: 式中,为经过归一化处理的时空邻接矩阵,Dgraph为度矩阵,对角元素表示每个节点的连接度数;Agraph为邻接矩阵,包含空间和时间关系;H′graph为输出特征矩阵,维度为E×T×N×F',σ为激活函数,Horiginal为输入特征矩阵,维度为E×T×n×F;W为图卷积的可学习权重矩阵,Drop为随机丢弃机制; 经过图卷积处理的H′将蕴含着局部信息,引入混合残差设计,使用动态加权将原始特征与图卷积特征融合到一起,公式为: Xgraph=α·H′graph+1-α·Horiginal 式中,Xgraph为经过残差机制处理后的特征结果;α为可学习的权重参数,用于动态调整两种特征的比例;H′graph为图卷积处理后的特征,Horiginal为未经图卷积处理的原始特征; JMamba模块在VMamba基础上利用基于解剖学和运动学连锁反应的层次关节增强方法,在相关关节间的信息传递中进行特征提取,完成姿态估计; JMamba模块完成姿态估计的具体处理方法包括:结合基于解剖学和运动学连锁反应的层次关节增强方法,构建由增强关节点序列与原始关节点序列构成的双向待扫描信息Xscan,并计算选择性状态空间扫描所需的可学习矩阵:状态矩阵A,控制矩阵B,输出矩阵C,指令矩阵D以及状态变量H; Xscan=fScanwin·Xin+bin 式中,Xscan为双向待扫描信息,fScan为双向扫描的初始化函数,用于将原始输入投影到状态空间;Win为原始关节点序列,Xin为偏置项,bin为权重矩阵; 进行局部双向扫描与全局双向扫描,不断更新状态空间,捕获长短期依赖,表达式为: H′=A·H+B·Xscan 式中,H′为输出特征矩阵; 维度为: E×T×N×F′ 式中,E为批处理大小,T为输入帧数,N为关节数量,F′为每关节对应特征; XSSM=C·H′+D·Xscan 式中,XSSM为通过选择性状态空间扫描生成的中间特征; 完成双向扫描后,进行特征融合,获得富含全局与局部信息的完整特征表达: Xout=fMergeXSSM 式中,Xout为本模块最终输出结果,fMerge为将双向扫描结果整合成原始维度; 空间Transformer模块,输入特征首先经过归一化与多头自注意力处理,捕捉关节之间的内在联系;随后,特征经过归一化与mlp层,通过激活函数GELU引入非线性变换,学习输入特征间的复杂非线性关系; 进行空间特征提取包括: Q,K,V=linearLayerNormXSpaGJMamba spatial=xres+Dropxmlp 式中,Q为查询向量,K为键向量,V为值向量,linear为全连接层,LayerNorm为归一化处理,XSpaGJMamba为经过STE-GCN模块与JMamba模块处理后的空间特征,xres为中间处理过程性结果,xattn为经过注意力机制处理的特征,softmax为将向量归一化为一个概率分布向量,K为K的转置,d为缩放因子,为中间处理,Drop为随机丢弃处理,xmlp为经过mlp机制处理的特征,W,W均为线性变换的权重矩阵,GELU为激活函数处理,b,b均为偏置项,xspatial为目标帧估计过程中的空间维度特征。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国海洋大学,其通讯地址为:266100 山东省青岛市崂山区松岭路238号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励