Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
专利交易 积分商城 国际服务 IP管家助手 科技果 科技人才 商标交易 会员权益 需求市场 关于龙图腾 更多
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 南京理工大学周慧获国家专利权

南京理工大学周慧获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉南京理工大学申请的专利一种融合深度相机与惯性传感器的步态分析方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115736898B

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211326782.9,技术领域涉及:A61B5/11;该发明授权一种融合深度相机与惯性传感器的步态分析方法及系统是由周慧;王倩;郭亚东;滕洪璟设计研发完成,并于2022-10-25向国家知识产权局提交的专利申请。

一种融合深度相机与惯性传感器的步态分析方法及系统在说明书摘要公布了:本发明公开了一种融合深度相机与惯性传感器的步态分析方法及系统,该方法包括:采集人体步态数据;对原始人体步态数据进行预处理;用处理后的数据进行步态相关计算;通过融合算法进行传感器数据融合;进行步态分析。本发明使用互补滤波器将惯性测量单元中有噪音的加速度计和有漂移的陀螺仪融合,得到较准确的关节角结果,IMU以任意方向安装在肢体上,不依赖于均匀的磁场,避免因磁场干扰产生的噪音和误差,适用于单肢体转动的情况,并结合通过深度相机数据计算的关节角结果,融合深度相机和IMU数据,在检测到测量误差较大的运动时,使用深度相机和IMU互相矫正关节角度,在不降低操作效率的情况下提高了计算精度。

本发明授权一种融合深度相机与惯性传感器的步态分析方法及系统在权利要求书中公布了:1.一种融合深度相机与惯性传感器的步态分析方法,其特征在于,包括以下步骤: 步骤S1:采集人体步态数据,具体为: 步骤S11:设计深度相机数据采集系统,通过深度相机骨骼追踪方法,得到人体深度图像坐标,确定人体关节位置,从而采集到人体步态相关数据,所述人体步态相关数据包括步长、步幅、步宽、步速以及骨长; 步骤S12:使用包含加速度计、陀螺仪的IMU传感器,采集传感器在人体上的加速度和角速度信号;IMU传感器安装在连接所测人体关节的两个身体段上; 步骤S2:对原始人体步态数据进行预处理,具有为: 步骤S21:采用OneEuro滤波算法对步骤S11得到的深度相机关节坐标数据进行滤波处理; 步骤S22:通过巴特沃斯低通滤波器对IMU采集到的加速度计和陀螺仪信号进行去噪处理; 步骤S3:使用步骤S2所得数据进行步态相关计算,具体为: 步骤S31:使用步骤S2所得的深度相机关节追踪数据,进行关节角度、骨长、步态参数的计算; 采集完人体骨骼点空间变化坐标序列并对数据进行滤波处理后,因为深度相机摄像头摆放不能完全使X轴与地面完全平行,也不能完全以U轴的零视为落地点,故不能仅根据返回坐标来直接确定双脚落地点进而来确定周期; 人体在行走过程中,人体中心点呈现出上下、左右方向的周期性摆动;选择将每次摆动的最低点定位特殊点,特殊点出现时的帧即为特殊帧;步态周期T为行走过程中一侧脚跟着地到该侧脚跟再次着地时所经过的时间,即连续三个特殊帧出现所需要的时间; T=tk+2-tk1 式1中,tk为第k个特殊帧出现的时间,tk+2为第k+2个特殊帧出现的时间; 通过求特殊帧的位置即可计算出步态周期; 骨长测量即计算骨头连接的两个关节之间的距离,通过深度相机获取骨骼点的三维坐标信息,生成关节矢量,再计算出骨长;在深度相机的3D坐标系中,使用深度相机检索骨头的相邻关节的3D坐标,使用四元数并采用以下式2分别计算各段的向量: 其中,EXe,Ye,Ze、FXf,Yf,Zf分别表示两个相邻关节的位置; 然后,计算骨长: 步长为行走过程中,一侧脚跟着地的位置到紧接着另一侧脚跟着地位置的距离,用空间点坐标的距离公式来表示即: 式4中,spi表示第i次跨步的步长,Xk、Yk、Zk表示特殊点序号k时的空间坐标,Xk+1、Yk+1、Zk+1表示特殊点序号k+1时的空间坐标; 步幅为行走过程中,一侧脚跟着地的位置到该侧脚跟下一次着地位置的距离,用空间点坐标的距离公式来表示即: sdi=spi+spi+15 步宽为以一只脚的两次相邻的着地点和一个悬空点,通过三点确定一个平面,再计算另一侧脚落地点到这个平面的距离;选用右脚在运动中经过的上述三个点来来建立空面空间,设两个落地点和一个悬空点分别为R1X1,Y1,Z1、R2X2,Y2,Z2和R3X3,Y3,Z3,建立的空间平面方程为: AX+BY+CZ=D7 对左脚落地点到该平面的距离即步宽,表示如下: 其中X0,Y0,Z0是右脚着地点的坐标; 步速每次采集数据捕获到的骨骼点的瞬时速度;用相邻三个点的平均速度代替中心点的瞬时速度,中心点的瞬时速度则为: 其中,fc为深度相机采集频率,δt-1为点Bt-1到点Bt之间的距离; 加速度:加速度为相邻帧的变化率,即: 根据所采集到的m+1个点坐标,能够确定时间参数序列,也就是位移序列X1,X2,X3,……Xm;速度序列V1,V2,V3,……Vm-1;加速度序列a1,a2,a3,……am-3; 深度相机使用其深度传感器在3D坐标中检索信息;它使用自己的位置作为参考点来检索骨架上的关节点;深度相机使用关节点和参考点之间的相对差异来计算人体的三轴坐标以及运动跟踪信息和相应的3D关节角度;由于深度相机只能为人体肢体提供一组3D坐标,因此需要根据后端系统的3D坐标计算关节角度; 通过深度相机获取骨骼点的三维坐标信息,生成关节矢量,再计算出关节矢量的夹角获取关节控制角;在深度相机的3D坐标系中,使用深度相机检索所测关节相邻的关节3D坐标,使用四元数并采用式11分别计算各段的向量: 然后,使用以下公式计算关节角度: θ=cos-1cosθ13 步骤S32:使用IMU传感器的数据进行关节轴和关节轴位置的识别; 不假设任何局部传感器轴与关节轴或肢体段重合,关节屈伸轴的方向和位置都是任意的;收集识别数据,同时关节以任意方式围绕其自由度移动,每0.1s获取一个数据集Si,其形式为: 其中,a1t,a2t∈R3是在某个采样周期Δt的加速度,g1t,g2t∈R3为角速度,为角速率;获取两个数据集之间的时间必须是采样周期的倍数,即因此,收集了N>>1数据集,这些数据集将在后续部分中用于识别局部关节轴和位置坐标; 步骤S33:对步骤S32中所得结果进行关节轴坐标识别; 数据集Si,i∈[1,N],用于标识单位长度方向向量关节屈伸轴在两个传感器的局部坐标中;j1和j2是常数,仅取决于传感器相对于关节的安装方向;角速率g1t,g2t,在关节上测量的区别仅在于关节角度速度矢量和旋转矩阵;因此,它们投射到关节平面中,对于每个时刻的时间具有相同的长度,即: 其中||·||2表示欧几里得范数;无论传感器安装在段上的哪个位置和方向,此约束都成立;每个数据集Si,i∈[1,N]都必须满足15;因此,通过最小化所有数据集的式15左边识别j1和j2;j1和j2在球面坐标中表示为: j1=cosφ1cosθ1,cosφ1sinθ1,sinφ1T16 j2=cosφ2cosθ2,cosφ2sinθ2,sinφ2T17 并定义平方误差之和为: 其中φ1,φ2表示关节轴的横滚角,θ1,θ2表示关节轴的航向角,由于式18相对于j1和j2的符号是不变的,此代价函数有四个最小值,对应于符号的四种可能组合,j1,j2,-j1,j2,j1,-j2,和-j1,-j2; 步骤S34:对步骤S33中关节轴坐标进行符号匹配; 步骤S35:对步骤S32中所得关节位置进行坐标识别; 步骤S36:基于互补滤波器,使用IMU传感器进行关节角度计算; 步骤S4:使用步骤S3中的传感器数据进行融合,具体为: 步骤S41:统一深度相机和IMU的坐标系,对深度相机坐标进行转换,得到全局坐标下的深度相机数据信息,在IMU与深度相机的数据均以全局坐标系为主要参考系时,进行两种传感器的数据融合;统一坐标系步骤如下: 式30中,Xw,Yw,Zw为全局坐标系在Ow,xw,yw,zw下的坐标,Xk,Yk,Zk为深度相机坐标系在Ok,xk,yk,zk下的坐标,X*,Y*,Z*为全局坐标系和深度相机坐标系重合的平移量;因为两个坐标系互相平行,只需要在深度相机坐标系Ok,xk,yk,zk中,确定全局坐标原点Ow的位置;对行走步态采集系统进行校准,得到平移量,利用式30对深度相机坐标进行转换,得到全局坐标下的深度相机数据信息;在IMU与深度相机的数据均以全局坐标系为主要参考系时,即可进行两种传感器的数据融合; 步骤S42:采用基于四元数的扩展卡尔曼滤波方法,校准来自深度相机和IMU的数据结果,通过深度相机和IMU融合计算关节角度; 四元数q通过积分四元数导数得到,状态模型写为: 其中 式中ω=[ωxωyωz]T表示三轴陀螺仪的输出,[ω×]是一个3×3的偏斜对称矩阵,由下式给出: 使用扩展卡尔曼处理来自IMU和深度相机的数据;设计的扩展卡尔曼滤波融合方案中的状态向量由四元数和膝关节角速度组成;测量噪声的协方差矩阵是一个7×7对角矩阵,测量向量有七个元素:四个四元数和三个角速度分量,结合欧拉角与四元数变换估计出四元数误差分量;从欧拉角中获取四元数的计算公式,并对部分公式进行推导得出: 式中,φ为膝关节横滚角、θ为膝关节航向角,为膝关节俯仰角,Δφ为膝关节在横滚角度上的误差;测量噪声矩阵需要当前拐点间距和倾角的值;对于与角速度相关的其余对角线值,IMU陀螺仪精度已知,深度相机的精度是根据角速度的均方根误差计算得出的; 来自每个单独传感器的输入是向量y状态向量由归一化四元数的四个分量和角速度的三个分量组成;扩展卡尔曼滤波器使用图中演化模型对输入参数进行处理,预测状态用来更新测量噪声协方差矩阵R1和R2,更新矩阵A和过程噪声协方差矩阵Q,状态四元数在每一步后进行归一化; 步骤S5:使用步骤S3、S4所得结果进行步态分析。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京理工大学,其通讯地址为:210094 江苏省南京市孝陵卫200号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。