小哆智能科技(北京)有限公司袁海杰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉小哆智能科技(北京)有限公司申请的专利一种3D虚拟数字人唇形动画生成模型训练方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117292031B 。
龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311559668.5,技术领域涉及:G06T13/40;该发明授权一种3D虚拟数字人唇形动画生成模型训练方法及装置是由袁海杰设计研发完成,并于2023-11-21向国家知识产权局提交的专利申请。
本一种3D虚拟数字人唇形动画生成模型训练方法及装置在说明书摘要公布了:本申请公开了一种3D虚拟数字人唇形动画生成模型训练方法及装置,涉及人工智能技术领域,通过获取音频数据集以及对应的文本数据集和BlendShape参数集,并提取音频特征和文本特征;将音频特征和文本特征进行融合后通过第一线性层进行调整和映射,并输入至Transformer模型中得到增强语义向量;将增强语义向量通过第二线性层进行调整和映射后得到最终特征,并输入至激活函数中得到Blendshape参数;将Blendshape参数与原始BlendShapeGT参数进行损失值计算,通过反向传播更新参数,当损失值达到最优时,停止训练,得到3D虚拟数字人唇形动画生成模型。
本发明授权一种3D虚拟数字人唇形动画生成模型训练方法及装置在权利要求书中公布了:1.一种3D虚拟数字人唇形动画生成模型训练方法,其特征在于,包括: 步骤1:获取音频数据集以及所述音频数据集对应的文本数据集和BlendShape参数集; 步骤2:处理所述音频数据集和所述文本数据集,使所述音频数据集和所述文本数据集与所述BlendShape参数集相对应; 步骤3:提取处理后的所述音频数据集的音频特征和所述文本数据集的文本特征;具体的,采用特征提取技术将所述音频数据集转化为具有辨识度和代表性的音频特征;将所述文本数据集通过Bert模型进行特征参数化,得到文本特征; 步骤4:拼接或合并所述音频特征和所述文本特征得到融合特征,并将所述融合特征通过第一线性层进行调整和映射;具体的,将所述音频特征和所述文本特征进行拼接或合并得到融合特征,然后将融合特征经过一个线性层,所述线性层用于将特征维度进行调整和映射; 步骤5:将调整和映射后的所述融合特征输入至Transformer模型中得到增强语义向量;具体的,所述Transformer模型分别将每个字作为Query,加权所述融合特征中所有字的语义信息,得到各个字的增强语义向量,然后利用不同的Self-Attention模块获得所述融合特征中每个字在不同语义空间下的增强语义向量,并将每个字的多个增强语义向量进行线性组合,从而获得一个最终的与原始字向量长度相同的增强语义向量; 步骤6:将所述增强语义向量通过第二线性层进行调整和映射,得到最终特征; 步骤7:将所述最终特征输入至激活函数中得到Blendshape参数; 步骤8:将所述Blendshape参数与原始BlendShapeGT参数进行损失值计算,并通过反向传播更新参数,当损失值达到最优时,停止训练,得到3D虚拟数字人唇形动画生成模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人小哆智能科技(北京)有限公司,其通讯地址为:100089 北京市海淀区西北旺东路10号院东区23号楼三层346室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。