恭喜哈尔滨工业大学(深圳)汤步洲获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜哈尔滨工业大学(深圳)申请的专利基于音频解耦和融合的零样本语音克隆方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115497449B 。
龙图腾网通过国家知识产权局官网在2025-06-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211012716.4,技术领域涉及:G10L13/02;该发明授权基于音频解耦和融合的零样本语音克隆方法及装置是由汤步洲;陈屹婷;李婉婷设计研发完成,并于2022-08-23向国家知识产权局提交的专利申请。
本基于音频解耦和融合的零样本语音克隆方法及装置在说明书摘要公布了:本发明公开了一种基于音频解耦和融合的零样本语音克隆方法及装置,包括将目标说话人的音频进行声学特征提取获取声学特征梅尔谱;采用音频内容编码器和音频音色编码器分别分离出声学特征梅尔谱的音色信息和内容信息;将音色信息集合进行特征融合,得到说话人音色嵌入表示,使得最终地说话人嵌入尽可能包含目标说话人的音色信息;为了提高解耦能力,引入了互信息约束,使得提取到的内容嵌入和音色嵌入之间的耦合程度尽可能低;将说话人音色嵌入表示和文本输入到零样本语音克隆模型,合成对应文本且带有目标说话人音色的梅尔谱;最终将梅尔谱输入到声码器中换成人耳可听的波形信号。本发明方法能提高克隆语音的说话人相似度。
本发明授权基于音频解耦和融合的零样本语音克隆方法及装置在权利要求书中公布了:1.一种基于音频解耦和融合的零样本语音克隆方法,其特征在于,包括以下步骤: 将目标说话人的音频进行声学特征提取获取声学特征梅尔谱; 采用音色和内容解耦模块分离出声学特征梅尔谱的音色信息和内容信息,其中所述音色和内容解耦模块包括音频内容编码器和音频音色编码器,音频内容编码器用于提取声学特征梅尔谱中和语言内容相关的内容信息,音频音色编码器用于提取声学特征梅尔谱中和说话人身份相关的音色信息; 将音色信息集合进行特征融合,得到说话人音色嵌入表示; 将说话人音色嵌入表示和文本输入到零样本语音克隆模型,合成对应文本且带有目标说话人音色的梅尔谱,其中零样本语音克隆模型包括编码器、变分自适应器和解码器,编码器用于提取文本相关的隐状态,变分自适应器用于对输入的特征进行预测基频和预测输入文本特征的时长,解码器用于将输入的特征合成梅尔谱; 将带有目标说话人音色的梅尔谱输入到声码器中,将带有目标说话人音色的梅尔谱转换成人耳可听的波形信号; 将说话人音色嵌入表示和文本输入到零样本语音克隆模型,合成对应文本且带有目标说话人音色的梅尔谱,具体包括: 将文本输入到编码器,提取文本相关的隐状态; 将说话人音色嵌入表示扩展到和文本一样的长度后和文本隐状态进行相加,得到融合特征; 将融合特征输入到变分自适应器预测融合特征的音高、能量以及文本特征的时长信息; 根据时长信息将融合特征扩展到帧级别的长度; 将扩展后的融合特征输入解码器中合成带有目标说话人音色的梅尔谱。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工业大学(深圳),其通讯地址为:518000 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。