买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉天津大学合肥创新发展研究院申请的专利一种基于模态迁移学习的超声舌静默语音识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119049453B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411189167.7，技术领域涉及：G10L15/06；该发明授权一种基于模态迁移学习的超声舌静默语音识别方法是由魏建国;郭铭昊;徐君海;马国宁设计研发完成，并于2024-08-27向国家知识产权局提交的专利申请。

本一种基于模态迁移学习的超声舌静默语音识别方法在说明书摘要公布了：本发明公开了一种基于模态迁移学习的超声舌静默语音识别方法，涉及语音信息处理技术领域，本发明提出了一个多阶段、多模态的建模管道，用于SSR的两个主要挑战，即有限的数据集和易混淆的静默信号。引入了四个步骤过程来避免过度拟合和两个额外的模块来提取多模态信息。基于联合训练策略，提出了模态偏好学习MPL，通过利用跨模态先验知识来促进目标任务的优化。

本发明授权一种基于模态迁移学习的超声舌静默语音识别方法在权利要求书中公布了：1.一种基于模态迁移学习的超声舌静默语音识别方法，其特征在于，其特征在于，包括如下步骤：首先通过引入四步过程来实现基于UTI的SSR基线，以避免由于缺乏大规模数据而导致的过拟合；为了处理文本和UTI信号之间的多对多关联，该模型再次基于来自三种模态的联合训练策略进行微调：UTI模态、附加模态及其组合；同时，考虑到多模态训练中的不协调收敛现象，引入模态偏好学习，将融合模块收敛到相对最优，其中基于UTI的SSR进一步优化为主任务；所述四步过程具体为：首先，使用Bi-GRU后端训练一个初始模型；其次，在冻结前端权重的同时，删除Bi-GRU并附加一个Bi-LSTM；第三，整个模块经过端到端训练直到收敛；第四，使用经过训练的前端为所有数据生成UTI特征，并用作Transformer分类器的输入； UTI输入流是从原始超声图像调整的64×138像素，帧速率降低到30fps，通过手动校准，额外的输入流与UTI流同步，嘴唇输入为112×112像素，感兴趣区域覆盖嘴唇周围的区域，采样率为30fps，音频输入应用短时傅里叶变换获得的频谱图，UTI和音频具有不同的帧速率，一个UTI帧对应于四个音频帧，将来自四个帧的语音信号卷积成一个组，以对所有模态进行对齐； UTI前端应用核大小为3×5×5的3D卷积，然后是2DResNet，随着深度逐渐减小空间维度，输出是每个输入帧的512维特征向量，关于部署的后端，有三种变体：2层Bi-GRU、2层Bi-LSTM和具有4个编码器层和6个解码器层的Transformer分类器、模型大小2048和8个注意力头，融合解码器的设置与UTI解码器一致，每个模块都使用CTC损失进行训练，为每个输入帧发出字符概率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天津大学合肥创新发展研究院，其通讯地址为：230000 安徽省合肥市经济技术开发区清潭路和紫蓬路交口中德合作创新示范园10号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。