北京理工大学李凡获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京理工大学申请的专利一种利用智能手机的非接触式手语识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116978114B 。
龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310717233.2,技术领域涉及:G06V40/20;该发明授权一种利用智能手机的非接触式手语识别方法是由李凡;王钰森;赵志远设计研发完成,并于2023-06-16向国家知识产权局提交的专利申请。
本一种利用智能手机的非接触式手语识别方法在说明书摘要公布了:本发明涉及一种利用智能手机的非接触式手语识别方法,属于移动计算应用技术领域。本发明利用手机内置扬声器发出人耳听不见的高频声音信号,该信号经过听障人士的手语动作反射,再由手机内置的麦克风接收。将接收信号经过处理,提取出整个过程的信道冲击响应。当用户表达不同手语动作时,整个信道的信道状态信息也并不相同,通过深度学习方法来识别这些信息对应的手语动作。本发明采用了细粒度的信道冲击响应特征识别出手指级别的手语动作,设计了一系列信号处理算法去除环境中的静态以及动态干扰。通过训练端到端神经网络模型时在两个单词间添加额外的标签,避免了手动对手语句子训练数据进行分割。本发明易于部署,用户体验好,不易受环境干扰。
本发明授权一种利用智能手机的非接触式手语识别方法在权利要求书中公布了:1.一种利用智能手机的非接触式手语识别方法,其特征在于,利用智能手机内置麦克风与扬声器进行非接触式的手语识别,包括以下步骤: 步骤1:对单载波通信通道估计信道冲击相应; 利用智能手机内置扬声器发射人耳听不到的音频信号,该信号经过手语使用者的手部动作反射,被智能手机内置麦克风接收;在麦克风与扬声器位置固定时,整个传输信道被视为线性时不变系统,提取不同手语动作的信道冲击响应,进行信道估计; 系统采用最小二乘法进行信道估计,获取每一个手语动作过程中信道冲击响应的幅值大小; 步骤2:对提取到的信道冲击响应进行增强; 首先去除环境中由静态物体引起的干扰,然后去除手语动作以外动态部分的干扰,最后采用图像处理方法进行数据增强; 步骤3:训练深度神经网络,对单词级别和句子级别的手语进行识别; 步骤3.1:使用基于注意力机制的卷积神经网络,进行单词级别的手语识别; 采用卷积神经网络对每个单词进行分类;通过引入注意力机制,在神经网络的训练过程中给予重要特征更大的权重; 其中,分类网络包括卷积层、引入注意力机制的CBAM层、压平Flatten层、全连接层和Softmax层;卷积层提取出单词对应的图片的特征映射,经过注意力机制层,得到优化后的特征向量,压平层将多维的特征向量转化为一维向量,再经过全连接层继续进行特征提取;Softmax层输出类概率向量,将单词种类分配给具有最大概率的类; 步骤3.2:使用CNN+GRU+CTC的深度神经网络模型,进行句子级别的手语识别; 采用一种端到端的神经网络模型,经常被用在光学字符识别中;该神经网络结构模型包括卷积神经网络CNN、门控循环单元GRU和连接时序分类CTC; 令一个句子级别的手语动作对应的信道冲击响应序列为X,X=[x1,x2,…,xm],xm表示第m个信道冲击响应,对应的单词为Y=[y1,y2,…,yM],yM表示第M个单词; 该端到端的神经网络模型首先使用步骤3.1中的卷积神经网络作为开端,然后使用门控循环单元进一步提取图像中的时序特征,最后利用连续时序分类来避免X与Y手动对齐,在给定序列X的情况下,连续时序分类输出所有可能的句子结果;最终,网络通过最大后验概率估计,以计算最有可能的结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京理工大学,其通讯地址为:100081 北京市海淀区中关村南大街5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。