玩出梦想(上海)科技有限公司冯辉获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉玩出梦想(上海)科技有限公司申请的专利一种手部跟踪方法、数据处理设备及头戴式设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117315781B 。
龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311290847.3,技术领域涉及:G06V40/20;该发明授权一种手部跟踪方法、数据处理设备及头戴式设备是由冯辉;肖锐;方无迪设计研发完成,并于2023-10-08向国家知识产权局提交的专利申请。
本一种手部跟踪方法、数据处理设备及头戴式设备在说明书摘要公布了:本发明公开了一种手部跟踪方法、数据处理设备及头戴式设备,通过四目鱼眼相机获取实时的3D手势pose3d,全局检测模型Det用于四目相机手部检测,2D骨骼点模型Ske用于2D手部骨骼点预测,InverseKinematics用于多目骨骼点优化获取pose3d,利用深度学习refine的方案做doublecheckout保证高质量的跟踪框以及高准确率的3Dpose,利用并优化手部3Dpose插值方法外推跟踪框,通过局部检测模型LocalDET实时矫正跟踪框。本发明的优点在于,提高跟踪的稳定性,避免跟踪丢失与跟踪偏离,避免发生跟踪类别错误的情况,导致后续交互出现问题,使跟踪框的质量大大提高。
本发明授权一种手部跟踪方法、数据处理设备及头戴式设备在权利要求书中公布了:1.一种手部跟踪方法,其特征在于,包括: 检测框获取步骤,基于深度学习的全局检测模型轮询检测四目相机获取的手部检测框位置信息;坐标获取步骤,通过所述检测框获取手部图像,基于深度学习的骨骼模型预测所述手部图像中骨骼点信息,获取的包含所述手部图像坐标系下至少一个骨骼点的坐标; 误差优化步骤,基于逆向运动学优化计算在头显IMU系下的pose3d的误差,得到优化后的pose3d; 跟踪框获取步骤的公式为: handproj,i=Insi*Ti*pose3d,i=1,2,3,4; TrackBoxj=calhandproj,i,i=1,2,3,4;j=1,2,3,4; TrackBoxres=selectTrackBoxj,i=1,2,3,4;res=1,2,3,4; 其中,handproj,i表示各目相机在t时刻的2D重投影骨骼点,TrackBoxj表示跟踪框,TrackBoxres表示筛选后的跟踪框,cal为计算框体函数,Select为跟踪框筛选函数,res表示筛选的跟踪框数量,j用来标识跟踪框的数量 跟踪框获取步骤,将优化后的pose3d重投影到四目相机,得到各目相机的2D重投影骨骼点,依据各目相机的2D重投影骨骼点计算时刻t手部图像的跟踪框; 跟踪框检测步骤,基于局部检测模型,对所述跟踪框进行检测,排除因为跟踪框偏移导致的无手跟踪框,并调整跟踪偏移,实时矫正所述跟踪框; 所述跟踪框检测步骤的公式为: localhanddetres,handinfores=LocalDETTrackBoxres,res=1,2,3,4 其中,localhanddetres表示局部检测模型推理获取的局部检测框,handinfores 表示左右手类别信息,LocalDET表示局部检测模型; 所述跟踪框检测步骤之后还包括 融合步骤,基于所述局部检测模型得到手部的局部坐标与所述跟踪框融 合,其公式为 TrackBoxmerge=Mergelocalhanddetres,TrackBoxres,res=1,2,3,4 其中,TrackBoxmerge表示融合框,Merge表示融合;以及 滤波步骤,对所述融合框做滤波处理,其公式为 TrackBoxfilter=FilterTrackBoxmerge,merge=1,2,3,4 其中,TrackBixfilter表示做滤波处理后的融合框,Filter表示滤波,merge表 示融合框的数量;以及 分类对比步骤,基于分类结果比对函数将所述局部检测模型给出相应的手部分类信息与所述全局检测模型给出相应的手部分类信息做比对,判断手部类别; 所述分类对比步骤的公式为: flag=comparehandinfores,handinfoi,i=1,2,3,4;res=1,2,3,4;i=res 其中,flag表示对比结果,compare表示分类结果比对函数,handinfores表示局部检测模型给出相应的手部分类信息。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人玩出梦想(上海)科技有限公司,其通讯地址为:201612 上海市松江区新桥镇漕松路1号3幢501室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。