武汉工程大学卢涛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉武汉工程大学申请的专利一种人脸图像超分辨率重建方法、系统、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115393186B 。
龙图腾网通过国家知识产权局官网在2026-01-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210867096.6,技术领域涉及:G06T3/4053;该发明授权一种人脸图像超分辨率重建方法、系统、设备及介质是由卢涛;张显鸿;程芳芳;张彦铎;方稳华设计研发完成,并于2022-07-22向国家知识产权局提交的专利申请。
本一种人脸图像超分辨率重建方法、系统、设备及介质在说明书摘要公布了:本发明公开了一种人脸图像超分辨率重建方法、系统、设备及介质,涉及计算机视觉技术领域,该方法基于目标人脸图像超分辨率重建模型实现图像重建,该方法步骤包括:对待重建的低分辨率人脸图像进行浅层特征提取,得到第一浅层特征图像;对第一浅层特征图像进行深层特征提取,得到第一深层特征图像;根据第一浅层特征图像和第一深层特征图像,确定目标重建图像。本方法解决了通过现有的基于局部图像块和全局人脸统计的人脸图像超分辨率重建方法实现人脸图像超分辨率重建时全局结构不一致、局部细节丢失,导致重建效果不佳,以及现有的基于结构先验的人脸图像超分辨率重建方法实现人脸图像超分辨率重建存在生成的超分辨率人脸图像失真的问题。
本发明授权一种人脸图像超分辨率重建方法、系统、设备及介质在权利要求书中公布了:1.一种人脸图像超分辨率重建方法,其特征在于,包括目标人脸图像超分辨率重建模型,所述目标人脸图像超分辨率重建模型包括依次连接的第一浅层特征提取器和第一深层特征提取器;所述方法包括以下步骤: 步骤S1:获取待重建的低分辨率人脸图像,将所述低分辨率人脸图像输入所述目标人脸图像超分辨率重建模型中; 步骤S2:通过所述第一浅层特征提取器对所述低分辨率人脸图像进行浅层特征提取,得到第一浅层特征图像; 步骤S3:通过所述第一深层特征提取器对所述第一浅层特征图像进行深层特征提取,得到第一深层特征图像; 步骤S4:根据所述第一浅层特征图像和所述第一深层特征图像,确定所述待重建的低分辨率人脸图像对应的目标重建图像; 所述目标人脸图像超分辨率重建模型是基于预先构建好的初始人脸图像超分辨率重建网络训练得到的,所述目标人脸图像超分辨率重建模型的训练过程包括: 步骤A1:获取多个原始高分辨率人脸图像,多个所述原始高分辨率人脸图像组成训练集; 步骤A2:随机初始化所述初始人脸图像超分辨率重建网络的模型参数,对所述训练集中包含的各个原始高分辨率人脸图像进行编号; 步骤A3:将各个所述原始高分辨率人脸图像输入所述初始人脸图像超分辨率重建网络中,通过所述初始人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建,得到各个所述原始高分辨率人脸图像对应的第一目标重建图像,根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一目标重建图像,计算第一损失函数值; 步骤A4:根据所述第一损失函数值,通过反向传播算法对所述初始人脸图像超分辨率重建网络的模型参数进行优化,得到优化后的人脸超分辨率重建模型; 步骤A5:将各个所述原始高分辨率人脸图像输入所述初始人脸图像超分辨率重建网络中,通过所述初始人脸图像超分辨率重建网络加载所述优化后的人脸超分辨率重建模型,得到人脸图像超分辨率重建网络,通过所述人脸图像超分辨率重建网络对各个所述原始高分辨率人脸图像进行图像重建,得到各个所述原始高分辨率人脸图像对应的第二目标重建图像,根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第二目标重建图像,计算第二损失函数值; 步骤A6:根据所述第二损失函数值,通过反向传播算法对所述人脸图像超分辨率重建网络的模型参数进行优化,得到优化后的人脸超分辨率重建模型; 步骤A7:若所述第二损失函数收敛,将所述第二损失函数收敛时的优化后的人脸超分辨率重建模型确定为最佳人脸超分辨率重建模型,通过所述初始人脸图像超分辨率重建网络加载所述最佳人脸超分辨率重建模型,得到目标人脸图像超分辨率重建模型,若所述第二损失函数不收敛,重复步骤A5至步骤A6,直至所述第二损失函数值收敛; 所述第一深层特征提取器包括依次连接的多个传输连接块;所述步骤S3具体包括: 对于所述第一深层特征提取器中的每个所述传输连接块,所述传输连接块对输入所述传输连接块的图像进行深层特征提取,得到所述传输连接块对应的一级融合特征图像,每相邻的两个所述传输连接块中,位置在前的传输连接块对应的一级融合特征图像作为位置在后的传输连接块的输入; 对所述第一深层特征提取器中最后一个所述传输连接块对应的一级融合特征图像进行卷积处理,得到所述第一深层特征图像; 每个所述传输连接块包括全局特征提取器、局部特征提取器和聚合模块,所述全局特征提取器与所述局部特征提取器并行连接后连接所述聚合模块,所述全局特征提取器用于提取图像的全局特征信息,所述局部特征提取器用于提取图像的局部特征信息,所述聚合模块用于对图像的全局特征信息和局部特征信息进行融合; 所述全局特征提取器包括多个结构相同的Transformer模块,各个所述Transformer模块依次连接,每个所述Transformer模块包括空间卷积自注意力层和全连接前馈层; 所述局部特征提取器包括多个结构相同的CNN模块,各个所述CNN模块依次连接; 所述步骤A3中,根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一目标重建图像,计算第一损失函数值,具体包括: 对于每个所述原始高分辨率人脸图像,对所述原始高分辨率人脸图像进行身份特征提取,得到所述原始高分辨率人脸图像对应的第一身份特征图像; 对于每个所述原始高分辨率人脸图像,对所述原始高分辨率人脸图像对应的第一初始重建图像进行身份特征提取,得到所述原始高分辨率人脸图像对应的第二身份特征图像; 根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的低分辨率人脸图像、第一初始重建图像、第一目标重建图像、第一身份特征图像和第二身份特征图像,计算所述第一损失函数值; 根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的低分辨率人脸图像、第一初始重建图像、第一目标重建图像、第一身份特征图像和第二身份特征图像,计算所述第一损失函数值,具体包括: 根据各个所述原始高分辨率人脸图像以及各个所述原始高分辨率人脸图像对应的第一初始重建图像,确定重建损失值,所述重建损失值是通过第一公式确定的,所述第一公式为: 其中,表示所述重建损失值,变量表示所述原始高分辨率人脸图像在所述训练集中的图像序号,表示所述训练集中的图像总数量,表示所述训练集中序号为的原始高分辨率人脸图像对应的第一初始重建图像,所述表示所述训练集中序号为的原始高分辨率人脸图像,表示1-范数; 根据各个所述原始高分辨率人脸图像对应的低分辨率人脸图像和第一目标重建图像,确定双循环损失值,所述双循环损失值是通过第二公式确定的,所述第二公式为: 其中,表示所述双循环损失值,变量表示所述原始高分辨率人脸图像在所述训练集中的图像序号,表示所述训练集中的图像总数量,表示所述训练集中序号为的原始高分辨率人脸图像对应的第二身份特征图像,表示所述训练集中序号为的原始高分辨率人脸图像对应的低分辨率人脸图像,表示2-范数; 根据各个所述原始高分辨率人脸图像对应的第一身份特征图像和第二身份特征图像,确定身份损失值,所述身份损失值是通过第三公式确定的,所述第三公式为: 其中,表示所述身份损失值,变量表示所述原始高分辨率人脸图像在所述训练集中的图像序号,表示所述训练集中的图像总数量,表示所述训练集中序号为的原始高分辨率人脸图像对应的第一身份特征图像,表示所述训练集中序号为的原始高分辨率人脸图像对应的第二身份特征图像,表示2-范数; 根据所述重建损失值、所述双循环损失值和所述身份损失值,确定所述第一损失函数值,所述第一损失函数值时通过第四公式确定的,所述第四公式为: 其中,表示所述第一损失函数值,为变量,用于控制所述身份损失值的权重。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人武汉工程大学,其通讯地址为:430000 湖北省武汉市东湖新技术开发区光谷一路206号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励