南京航空航天大学高攀获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京航空航天大学申请的专利基于扩散模型的免训练图像风格迁移方法、装置及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119273535B 。
龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411290800.1,技术领域涉及:G06T3/04;该发明授权基于扩散模型的免训练图像风格迁移方法、装置及介质是由高攀;胡颖;庄晨怡;秦杰设计研发完成,并于2024-09-14向国家知识产权局提交的专利申请。
本基于扩散模型的免训练图像风格迁移方法、装置及介质在说明书摘要公布了:本发明公开了一种基于扩散模型的免训练图像风格迁移方法、装置及介质,所述方法包括:基于BLIP‑Diffusion中的多模态BLIP‑2编码器生成与样式图像对应的文本嵌入;基于U‑Net的残差模块和自注意模块,通过去噪扩散隐式模型DDIM反演技术,从内容分支和样式分支中提取关键的中间特征;所述中间特征被用作目标分支中待替换的空间特征;根据内容和风格的不同需求,在内容注入中有选择性地替换残差块和自注意模块的特定层,在风格注入中替换自注意模块的特定层,实现内容和风格的最优融合;利用扩散模型的逐步特性,将目标分支中的内容注入和风格注入分开进行。本发明采用免训练方式,实现内容保存和风格注入之间的平衡,实现高质量的图像风格迁移。
本发明授权基于扩散模型的免训练图像风格迁移方法、装置及介质在权利要求书中公布了:1.一种基于扩散模型的免训练图像风格迁移方法,其特征在于,包括如下步骤: 1基于BLIP-Diffusion中的多模态BLIP-2编码器生成与样式图像对应的文本嵌入; 2基于U-Net的残差模块和自注意模块,通过去噪扩散隐式模型DDIM反演技术,从内容分支和样式分支中提取关键的中间特征;所述中间特征被用作目标分支中待替换的空间特征; 3根据内容和风格的不同需求,在内容注入中有选择性地替换残差块和自注意模块的特定层,在风格注入中替换自注意模块的特定层,实现内容和风格的最优融合; 4利用扩散模型的逐步特性,将目标分支中的内容注入和风格注入分开进行; 所述步骤1实现过程如下: 将预训练的BLIP-2编码器表示为F,以将样式图像的视觉特征转换为与文本对齐的表示;在扩散模型中保留CLIP文本编码器ψ的文本嵌入,以增强内容信息的表达;将上述两种文本嵌入通过连接操作结合起来,以指导后续的风格迁移过程: 其中,Pc是一个可选的指导文本,Is是风格图像; 步骤2所述中间特征的提取过程如下: 预训练扩散U-Net的每一层由残差块、增强表征的自注意模块和与文本条件交互的交叉注意模块组成;对于U-Net中第l层的步骤t,具有中间特征的残差块将输出基于自注意模块增强的图像为: 其中,是自注意力的最终输出,是残差块的输出的映射; 步骤3不同的自注意模块替换策略为: 在内容注入中,将目标分支中的残差特征替换为内容分支中的残差特征自注意模块中的查询Q、键K也被在步骤t中替换: 其中,是内容分支的投影出来的,是目标分支的投影出来的; 在风格注入中,与内容注入类似,在步骤t将风格空间特征注入目标分支中,替换键K、值V元素: 其中,风格分支的投影出来的,是目标分支的投影出来的; 步骤4在目标分支实现分步注入如下: 在预训练扩散模型的逆向过程的早期阶段执行内容注入,在后期阶段执行样式注入;并引入一个超参数α,计算不同注入的时间分隔节点在目标分支进行分开注入的公式如下: 其中,t∈0,T];T是扩散模型总步数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京航空航天大学,其通讯地址为:213300 江苏省常州市溧阳市滨河东路29号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励