大连理工大学仇森获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉大连理工大学申请的专利基于可穿戴计算的手语识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115904086B 。
龙图腾网通过国家知识产权局官网在2026-03-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211698335.6,技术领域涉及:G06F3/01;该发明授权基于可穿戴计算的手语识别方法是由仇森;苗鑫;王哲龙;赵红宇设计研发完成,并于2022-12-28向国家知识产权局提交的专利申请。
本基于可穿戴计算的手语识别方法在说明书摘要公布了:本发明属于手语识别领域,提供了一种基于可穿戴计算的手语识别方法,提供一种基于可穿戴计算的手语识别系统,包括一副惯性数据手套、路由装置、人机交互平台。每只惯性数据手套包括十六颗惯性传感器和一个无线传输模块,其中惯性传感器包括三轴加速度计、三轴陀螺仪、三轴磁力计,无线传输模块通过传输控制协议以路由装置为中枢与人机交互平台完成交互。人机交互模块可以对手语识别系统进行操作,并集成有训练好的Bi‑LSTM模型,利用惯性数据手套上传的手部数据输入到Bi‑LSTM模型中进行手语识别,并显示出识别出的手语信息。该系统能够实现对20种中国动态手语进行识别,具有精度高、功耗低、设备体积小、易于部署识别等特点。
本发明授权基于可穿戴计算的手语识别方法在权利要求书中公布了:1.一种基于可穿戴计算的手语识别方法,其特征在于,基于可穿戴计算的手语识别系统实现手语识别;该基于可穿戴计算的手语识别系统包括两只惯性数据手套、路由装置、人机交互平台; 每只惯性数据手套包括十六颗惯性传感器和一个无线传输模块;惯性传感器包括三轴加速度计、三轴陀螺仪、三轴磁力计,用于捕捉单手手掌和手指的运动信息、位置信息;无线传输模块通过传输控制协议以路由装置为中枢与人机交互平台完成交互; 人机交互平台将惯性数据手套采集的数据进行误差校正、姿态解算、手语样本分割后输入到神经网络手语识别模型中,对识别到的手势最终显示在屏幕上; 基于可穿戴计算的手语识别方法具体包括步骤如下: 步骤1:制作手语数据集; 步骤1.1:采集待识别手语的原始惯性数据, 使用惯性数据手套采集20种动态手语的原始惯性数据; 步骤1.2:将采集到的手语原始惯性数据进行预处理, 预处理包括对采集的原始惯性数据进行误差校正、姿态解算、手语样本分割、数据归一化; 步骤1.2.1:采用最小二乘法求解椭球拟合问题来标定三轴磁力计; ; 其中,表示三轴磁力计的测量值,表示三轴磁力计不存在误差的理论值,表示三轴磁力计零偏误差,表示三轴磁力计各轴灵敏度误差系数;表示三轴磁力计各轴的耦合系数; 通过最小二乘法拟合得到椭球方程,求解误差系数和零偏误差, ,; 其中,表示椭球形状矩阵;表示需要求解的椭球面参数;表示某地的磁场强度; 步骤1.2.2:姿态解算将惯性数据手套采集的原始惯性数据采用梯度下降数据融合算法提取手部四元数信息,采用以下公式进行迭代: , 其中,表示旋转四元数,表示三轴陀螺仪的测量误差,通过标定算法测量得到;表示采样周期;表示目标函数;; 三轴加速度计产生的误差用误差函数表示为: , 其中,为三轴加速度计的测量值;为加速度计X轴误差;为加速度计Y轴误差;为加速度计Z轴误差;为旋转四元数; 三轴磁力计产生的误差用误差函数表示为: ; 其中,为三轴磁力计的测量值;为旋转四元数;为三轴磁力计X轴误差;为三轴磁力计Y轴误差;为三轴磁力计Z轴误差; 将目标函数求偏导数,得到雅可比矩阵 ; 使用高斯牛顿法求解最小化误差,表示计算过程中的目标姿态, ; 其中,为步长;表示微分算子,表示的变化率,其与误差矢量即的关系如下: , 最后求解出一个表示姿态的四元数,共包含两部分;一部分是利用三轴陀螺仪输出值求解微分方程解得;另一部分是通过目标函数求解得到的修正四元数;两者均描述同一时刻手部的姿态;设求解四元数微分方程得到的姿态四元数为,用表示修正四元数所占的权重,将这两部分四元数结合,则最终的姿态四元数表示为; ; 表示三轴陀螺仪的测量误差,通过标定算法测量得到;表示采样周期;则权重与步长有如下关系: , 最终姿态四元数表示为: ; 步骤1.2.2.1:利用步骤1.2.1中经校正的三轴磁力计信号确定地理北极方向,并根据手部自然下垂时的三维加速度信号和步骤1.2.1中经校正的三维磁力计信号,获得手部的初始姿态,并进行校正; 通过求解传感器坐标系与载体坐标系相对的欧拉角,利用三维加速度信号得到俯仰角与横滚角,公式如下: , , 其中,分别为三轴加速度计的三个轴的输出; 结合校正后的三维磁力计信号得到航向角: , 其中,是三维磁力计信号的X轴和Y轴修正到当地平面的投影,X轴指向地球磁场北极; 步骤1.2.2.2:利用如下载体坐标系与传感器坐标系的转化公式将步骤1.2.2.1求得的欧拉角转化成载体坐标系到传感器坐标系的单位四元数: ; 步骤1.2.2.3:根据手部自然下垂时的运动信号和经校正的三维磁力计信号,通过重力矢量方向与地球磁场北极方向确定传感器坐标系与地理坐标系的旋转四元数,完成手部初始姿态与初始手部模型的标定,包括以下过程: 手部模型关节点坐标位置公式: ; 其中,为编号为的手部关节在地理坐标系下时刻的坐标;为手部肢体向量的个数;为手部起始关节点的坐标,指手掌中心坐标; 手部关节向量在地理坐标系的旋转为: , 其中,表示载体坐标系到地理坐标系的旋转四元数的共轭;手部关节向量在地理坐标系表示为;手部关节向量在载体坐标系表示为;表示四元数乘法; 最终得到手部关节向量在地理坐标系的旋转公式: , 其中,初始通过三维加速度数据和经校正的三维磁力计数据判定重力矢量与磁场北极方向求得; 在进行初始手部姿态校正时,载体坐标系通过手部自然下垂静止时朝向磁场北极站立的方式与地理坐标系重合,得到在初始时刻的公式: , 其中,表示手部载体坐标系到传感器坐标系的旋转四元数;表示手部地理坐标系到传感器坐标系的旋转四元数; 步骤1.2.2.4:最终利用梯度下降的数据融合算法更新手部运动姿态,获取实时更新的手部四元数信息; 步骤1.2.3:手语样本分割将原始加速度、三轴陀螺仪数据和解算出的手部姿态四元数信息结合后,如下式所示;并利用高速相机对组合的手语时间序列数据进行人工手语分割并给予手语特定标签; 其中,为三轴加速度计采集的三轴加速度信号,为三轴陀螺仪采集的三维角速度信号,为手部单位四元数; 步骤1.2.4:数据归一化将分割后给予手语特定标签的数据处于0~1区间内; 步骤1.3:对预处理后的每个受试者的手语时间序列数据按照9:1的比例进行训练集和测试集的平衡数据划分; 步骤2:建立神经网络手语识别模型; 步骤3:使用手语数据集对神经网络手语识别模型进行训练; 步骤4:对训练好的神经网络手语识别模型进行泛化性能测试; 步骤5:对测试效果达标的神经网络手语识别模型移植到人机交互平台,通过基于可穿戴计算的手语识别系统对手语进行实时识别。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连理工大学,其通讯地址为:116024 辽宁省大连市甘井子区凌工路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励