深圳通联金融网络科技服务有限公司陶贵宾获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉深圳通联金融网络科技服务有限公司申请的专利基于用户面部表情的语音识别方法、装置、介质及设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115440196B 。
龙图腾网通过国家知识产权局官网在2025-06-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211163199.0,技术领域涉及:G10L15/06;该发明授权基于用户面部表情的语音识别方法、装置、介质及设备是由陶贵宾设计研发完成,并于2022-09-23向国家知识产权局提交的专利申请。
本基于用户面部表情的语音识别方法、装置、介质及设备在说明书摘要公布了:本公开提供一种基于用户面部表情的语音识别方法、装置、介质及设备,该方法包括:根据识别模型确定在预设时间段内目标用户在监控环境下的面部特征点的变化情况,以生成面部动态特征图像,将多个特征区域动态子图像与对应特征区域的预设动态子图像进行匹配,确定所述目标用户对应的情感标签,对预设时间段内目标用户在监控环境中的音频数据进行采集,生成目标用户对应的用户语音,根据情感标签对语音识别模型进行训练,通过训练后的语音识别模型对用户语音进行语义识别,生成目标用户对应的语义信息。从而使智能设备能够更准确识别出用户语音所对应的用户意图,提高了语音识别的准确性,给用户带来了更好的产品体验。
本发明授权基于用户面部表情的语音识别方法、装置、介质及设备在权利要求书中公布了:1.一种基于用户面部表情的语音识别方法,其特征在于,所述方法包括: 通过红外采集装置对监控环境中的热图像进行采集,并在基于图像识别模型确认所述监控环境中存在人脸的情况下,根据特征识别算法确定所述人脸对应的目标用户的面部特征点,并基于所述面部特征点的预设分布规则,循环执行以下步骤,直至确定所述目标用户在所述监控环境下的所述面部特征点产生变化为止:按照预设目标时长从初始动态图像中选取相应时长的帧图像,以生成所述目标用户对应的面部动态特征图像,并将所述面部动态特征图像与预设标准动态图像进行匹配生成比较结果,根据所述比较结果判断是否匹配成功,若匹配成功,判断相应时长的帧图像中所述目标用户未产生情绪波动,则延长已使用的目标时长,重新获得相应时长的帧图像,若匹配不成功,提取所述时长的帧图像,生成所述目标用户对应的面部动态特征图像,并基于所述预设分布规则和所述人脸对应的多个特征区域,对所述面部动态特征图像进行分割,生成所述多个特征区域对应的多个特征区域动态子图像,其中所述多个特征区域至少包括眼部特征区域、鼻子特征区域和嘴部特征区域; 将所述多个特征区域动态子图像与所述多个特征区域对应的多个预设动态子图像进行匹配,确定所述多个特征区域动态子图像对应的多个表情识别结果,根据预设权重将所述多个表情识别结果进行融合确定所述目标用户对应的情感标签,其中,所述表情识别结果用于表征所述目标用户对应的情感标签,所述预设权重根据各个特征区域表征所述情感标签的强弱关系进行设定; 对预设时间段内所述目标用户在所述监控环境中的音频数据进行采集,生成目标音频数据,并识别所述目标音频数据中所述目标用户对应的用户语音频段,根据所述用户语音频段对所述目标音频数据进行降噪处理,按照设定语音特征对降噪后的所述目标音频数据进行语音提取,以生成所述目标用户对应的用户语音,其中,通过麦克风采集的所述用户语音对智能终端下达控制指令; 从初始数据库中筛选出与所述情感标签对应的初始样本语音数据,将所述初始样本语音数据加入到语音识别模型的样本训练集中,基于所述样本训练集对所述语音识别模型进行识别训练,通过训练后的所述语音识别模型对所述用户语音进行语义识别,以生成所述目标用户对应的语义信息,其中,所述初始数据库中包括多个初始样本语音数据和多个情感标签之间的映射关系; 其中,所述根据所述用户语音频段对所述目标音频数据进行降噪处理,按照设定语音特征对降噪后的所述目标音频数据进行语音提取,以生成所述目标用户对应的用户语音,包括: 根据所述目标用户对应的历史用户语音,对所述目标音频数据中的用户语音进行分析,以根据所述目标音频数据生成所述用户语音频段和环境音频; 基于所述用户语音频段对所述目标音频数据进行降噪处理,以去除所述目标音频数据中的所述环境音频,并对处理后的目标音频数据进行拓扑恢复生成所述目标用户对应的所述用户语音。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人深圳通联金融网络科技服务有限公司,其通讯地址为:518000 广东省深圳市南山区科发路8号金融服务技术创新基地1栋9楼A;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。