买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华中科技大学申请的专利基于可插拔模块的深度学习语音辅助文字识别方法与装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116434732B 。

龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310111405.1，技术领域涉及：G10L13/08；该发明授权基于可插拔模块的深度学习语音辅助文字识别方法与装置是由刘明宇;刘禹良;余文文;杨彪;张恩铭;程建伟;白翔设计研发完成，并于2023-02-07向国家知识产权局提交的专利申请。

本基于可插拔模块的深度学习语音辅助文字识别方法与装置在说明书摘要公布了：本发明提出了一种基于可插拔模块的深度学习语音辅助文字识别方法：使用公开合成文本数据集作为图片训练数据，并提取出标签作为语料库，使用语音合成工具配对生成一定数量的语音数据；将图片‑语音数据送入识别网络中，分别得到图像特征和语音特征；将图像特征送入识别解码器，输出预测的字符序列；将可插拔模块接入场景文字识别网络，图像特征和语音特征经过可插拔模块中的语音解码器得到频谱特征；识别网络计算识别损失，可插拔模块计算语音频谱损失，反向传播优化识别网络权重参数；将可插拔模块拔出，由识别网络完成场景文字图像的识别。本发明使用语音信息以指导现有的场景文本识别网络，使其可以很容易的应用于现有的场景文字识别网络。

本发明授权基于可插拔模块的深度学习语音辅助文字识别方法与装置在权利要求书中公布了：1.一种基于可插拔模块的深度学习语音辅助文字识别方法，其特征在于，该方法包括： 步骤一：数据获取，使用公开合成文本数据集作为图片训练数据，并提取出标签作为语料库，使用语音合成工具配对生成一定数量的语音数据； 步骤二：将图片-语音数据送入识别网络中，分别得到图像特征和语音特征； 步骤三：将图像特征送入识别解码器，输出预测的字符序列； 步骤四：将可插拔模块接入场景文字识别网络，图像特征和语音特征经过可插拔模块中的语音解码器得到频谱特征；所述步骤四中的语音解码器由前置网络，视觉-语音解码器，梅尔频谱线性层组成；将梅尔频谱输入前置网络中，为维的向量，T表示音频在时间维度的长度，前置网络由两层全连接层和一个ReLU激活层组成，每个全连接层使用256个神经元，前置网络层的作用是将频谱投影到音素子空间，使得后续的解码网络能够更好的捕捉到场景文字图像与语音信息的关系，具体公式为：，为经过变换后的音频特征表示前置网络的参数；视觉-语音解码器基于Transformer来实现，使用梅尔频谱特征作为query，图像特征作为key和value来实现图片和语音的跨模态交互，具体公式为，其中表示解码后的音频向量；梅尔频谱线性层是一个线性全连接层，用于将解码器的输出结果转换成梅尔频谱特征，公式为：； 步骤五：识别网络计算识别损失，可插拔模块计算语音频谱损失，反向传播优化识别网络权重参数； 步骤六：推理阶段，将可插拔模块拔出，由识别网络完成场景文字图像的识别，返回识别结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华中科技大学，其通讯地址为：430074 湖北省武汉市洪山区珞喻路1037号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。