南京邮电大学谢世朋获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京邮电大学申请的专利基于深度学习的直播实时人脸替换方法和电子设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119052568B 。
龙图腾网通过国家知识产权局官网在2025-06-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411080344.8,技术领域涉及:H04N21/44;该发明授权基于深度学习的直播实时人脸替换方法和电子设备是由谢世朋;陈沈阳设计研发完成,并于2024-08-08向国家知识产权局提交的专利申请。
本基于深度学习的直播实时人脸替换方法和电子设备在说明书摘要公布了:本发明公开了一种基于深度学习的直播实时人脸替换方法和电子设备,包括:获取源视频并抽帧获得帧图像;通过人脸检测模型确定所述帧图像中的源人脸位置;通过特征点检测模型获取所述帧图像的源人脸的面部特征数据集;基于所述帧图像,通过遮罩模型推理出所述源人脸的人脸遮罩,裁剪所述源人脸的人脸轮廓并确定人脸融合范围;将目标人脸样本输入人脸交换模型解耦人脸特征参数并融合到所述帧图像的源人脸上获得人脸转换图像;合并所述人脸转换图像生成视频流并输出。本发明解决了现有的图像或视频人脸替换方法存在保真度和泛化能力不能兼顾的问题。
本发明授权基于深度学习的直播实时人脸替换方法和电子设备在权利要求书中公布了:1.一种基于深度学习的直播实时人脸替换方法,其特征在于,包括以下步骤: 获取源视频并抽帧获得帧图像; 通过人脸检测模型确定所述帧图像中的源人脸位置; 通过特征点检测模型获取所述帧图像的源人脸的面部特征数据集; 基于所述帧图像,通过遮罩模型推理出所述源人脸的人脸遮罩,裁剪所述源人脸的人脸轮廓并确定人脸融合范围; 将目标人脸样本输入人脸交换模型解耦人脸特征参数并融合到所述帧图像的源人脸上获得人脸转换图像; 合并所述人脸转换图像生成视频流并输出; 所述人脸交换模型为FaceSwap人脸交换框架; 在将目标人脸样本输入人脸交换模型解耦人脸特征参数并融合到所述帧图像的源人脸上获得人脸转换图像时,训练损失函数用于评估人脸特征修改的准确度,所述损失函数为: ; 其中,为身份损失,为源人脸的图像样本数据,为换脸结果,为图像数据经过人脸识别网络后提取的身份特征向量; 训练重建损失函数用于判断目标人脸是否与源人脸来自同一身份,所述重建损失函数为: ; 其中,为重建损失,为源人脸的图像样本数据; 训练3D重建损失用于约束3D人脸重建结果与所述换脸结果保持一致,所述3D重建损失函数为: ; 其中,为3D重建损失,为对3D重建矩阵提取对应的关键点,为对图像数据进行3D重建,当输入两张图像时,表示分别对每张图像进行3D重建,再通过参数融合转换得到新的3D模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京邮电大学,其通讯地址为:210000 江苏省南京市文苑路9号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。