买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学金华研究院申请的专利基于音频驱动的人脸对话生成模型的人脸视频生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119028369B 。

龙图腾网通过国家知识产权局官网在2025-06-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411029024.X，技术领域涉及：G10L21/10；该发明授权基于音频驱动的人脸对话生成模型的人脸视频生成方法是由郑雨婷;徐新民;胡哲昊;张琪;郑乐;陈甜甜设计研发完成，并于2024-07-30向国家知识产权局提交的专利申请。

本基于音频驱动的人脸对话生成模型的人脸视频生成方法在说明书摘要公布了：本发明公开了一种基于音频驱动的人脸对话生成模型的人脸视频生成方法。方法包括：建立唇音同步判别网络和基于质量注意力的音频驱动唇形网络；使用唇音同步训练集对网络进行训练，根据唇音同步判别网络的判别损失函数构建基于质量注意力的音频驱动唇形网络的整体损失函数，直至整体损失函数收敛完成训练；根据待回复文字或音频获得回复音频；将回复音频以及待生成人物的人脸图像输入训练完成的网络中，输出当前人物在读取当前回复音频时的人脸视频，最终在显示器上显示。本发明方法有效改善了唇形生成的同步效果和整体人脸的图像质量，并能够与客户进行对话，旨在生成具有自然头部运动、唇音同步效果良好的真实人脸视频。

本发明授权基于音频驱动的人脸对话生成模型的人脸视频生成方法在权利要求书中公布了：1.一种基于音频驱动的人脸对话生成模型的人脸视频生成方法，其特征在于，包括： S1建立唇音同步判别网络和基于质量注意力的音频驱动唇形网络QAW； S2采集若干人物在说话时的视频并将每个视频划分为人物音频以及连续帧的人脸图像，将各组人物音频以及连续帧的人脸图像共同构建为唇音同步训练集； S3将唇音同步训练集输入唇音同步判别网络中进行训练，直至唇音同步判别网络的判别损失函数收敛，获得训练完成的唇音同步判别网络； S4将唇音同步训练集输入基于质量注意力的音频驱动唇形网络QAW中进行训练，基于判别损失函数构建基于质量注意力的音频驱动唇形网络QAW的整体损失函数，获得基于质量注意力的音频驱动唇形网络QAW的整体损失值并使用梯度下降法更新网络参数，直至整体损失函数的损失值收敛，获得训练完成的基于质量注意力的音频驱动唇形网络QAW； S5将待回复文字或音频输入对话系统中，针对每段待回复文字或音频，对话系统处理后输出待回复文字或音频的回复文字，并将回复文字转换为回复音频；将回复音频以及待生成人物的人脸图像输入训练完成的基于质量注意力的音频驱动唇形网络QAW中，训练完成的基于质量注意力的音频驱动唇形网络QAW处理后输出当前人物在读取当前回复音频时的人脸视频，最终在显示器上显示，实现人脸视频的生成； 所述的步骤S1中，基于质量注意力的音频驱动唇形网络QAW包括依次连接的人脸生成器和视频质量判别器，将唇音同步训练集输入人脸生成器中，人脸生成器处理后输出生成的人脸视频，将生成的人脸视频以及真实的人脸视频共同输入视频质量判别器中，获得视频质量判别器的对抗损失函数和质量评估损失函数，当视频质量判别器的对抗损失函数收敛时，视频质量判别器训练完成；根据生成的人脸视频以及真实的人脸视频获得重构损失函数，最终根据唇音同步判别网络的判别损失函数、视频质量判别器的质量评估损失、人脸对话生成模型的FSIM损失函数以及重构损失函数构建基于质量注意力的音频驱动唇形网络QAW的整体损失函数； 人脸生成器包括音频编码器、人脸编码器和人脸解码器，人脸编码器中包含九个空间注意力机制SA和三个位置注意力机制CA。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学金华研究院，其通讯地址为：321000 浙江省金华市金义新区金华科技城浙大网新孵化园A1-b二层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。