西北工业大学任辽获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西北工业大学申请的专利一种基于事件引导注意力网络的图像去运动模糊方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119579457B 。
龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411611521.0,技术领域涉及:G06T5/73;该发明授权一种基于事件引导注意力网络的图像去运动模糊方法是由任辽;周果清;王雪;王庆设计研发完成,并于2024-11-12向国家知识产权局提交的专利申请。
本一种基于事件引导注意力网络的图像去运动模糊方法在说明书摘要公布了:一种高效去除图像运动模糊的事件引导的轻量化注意力网络,属于涉及图像处理技术领域,注意力网络包括图像特征提取模块、事件特征提取模块、跨模态注意力特征融合模块和图像重建模块;首先,分别通过图像特征提取模块和事件特征提取模块,从运动模糊图像和事件体素网格中提取得到图像编码特征和事件编码特征,然后,通过跨模态注意力特征融合模块将图像编码特征和事件编码特征进行融合得到融合特征,最后,融合特征经过图像重建模块得到清晰图像。本申请实现了图像的运动模糊去除,得到的图像清晰度更高,节约图像处理时间,图像处理效率更高;本发明的注意力网络为单阶段网络,具有轻量化特点。
本发明授权一种基于事件引导注意力网络的图像去运动模糊方法在权利要求书中公布了:1.一种基于事件引导注意力网络的图像去运动模糊方法,其特征在于,所述图像去运动模糊方法的步骤如下: 步骤1,构建数据集:基于现有的GoPro数据集,使用ESIM模拟器为运动模糊图像生成事件流;GoPro数据集包含3214张分辨率为1280×720的运动模糊图像,运动模糊图像包括2103张训练图像和1111张测试图像; 步骤2,运动模糊图像预处理:将运动模糊图像按分辨率裁剪为256×256的图像块; 步骤3,事件流预处理:通过积分方法沿着时间维度对事件流进行积分得到事件体素网格,并按照步骤2的裁剪方法进行裁剪,得到与运动模糊图像块空间对应的事件体素网格; 步骤4,搭建注意力网络:注意力网络由4个核心模块组成,4个核心模块分别为Gimg模块、Gevent模块、Gattention模块和Grestoration模块;将步骤2预处理后的运动模糊图像输入Gimg模块得到图像编码特征,将步骤3预处理后的事件体素网格输入Gevent模块得到事件编码特征,图像编码特征和事件编码特征经过Gattention模块得到融合特征;融合特征经过Grestoration模块进行图像重建; 所述Gimg模块包括三个相同的图像卷积模块和两个下采样层;三个相同的图像卷积模块分别为图像卷积模块1、图像卷积模块2和图像卷积模块3,每个图像卷积模块由两个卷积层,每个卷积层的卷积核大小为3×3、两个激活层及一个用于残差连接的1×1卷积层组成,激活层采用RELU激活函数,下采样层由一个核大小为4×4,步长为2的卷积层构成;Gimg模块的执行步骤如下: S4.1.1,对运动模糊图像进行卷积,生成图像特征f1,卷积通道数增至64; S4.1.2,将特征f1输入至图像卷积模块1进行特征提取并执行一次下采样,得到图像编码特征img_encs[1]和下采样特征img_down1,下采样特征img_down1的图像尺寸从256×256降至128×128; S4.1.3,下采样特征img_down1通过图像卷积模块2,生成图像编码特征img_encs[2]和下采样特征img_down2,下采样特征img_down2的图像尺寸从128×128降至64×64; S4.1.4,下采样特征img_down2通过图像卷积模块3处理,得到图像编码特征img_encs[3]; 最终,模糊图像经过Gimg模块提取后,得到三个多层次的图像编码特征img_encs[1],img_encs[2]和img_encs[3]; 所述Gevent模块包含三个相同的事件卷积模块和两个下采样层;三个相同的事件卷积模块分别为事件卷积模块1、事件卷积模块2和事件卷积模块3,每个事件卷积模块由两个卷积层,每个卷积层的卷积核大小为3×3,两个激活层及一个用于残差连接的1×1卷积层组成;激活层采用RELU激活函数;Gevent模块的执行步骤如下: S4.2.1,对事件体素网格进行卷积,生成事件特征e1,其通道数增至64; S4.2.2,将事件特征e1输入至事件卷积模块1进行特征提取并执行一次下采样,得到事件编码特征event_encs[1]和下采样特征event_down1,图像尺寸从256×256降至128×128; S4.2.3,下采样特征event_down1通过事件卷积模块2,生成事件编码特征event_encs[2]和下采样特征event_down2,下采样特征event_down2的图像尺寸从128×128降至64×64; S4.2.4,下采样特征event_down2通过事件卷积模块3处理最后,得到事件编码特征event_encs[3]; 最终,事件体素网格经过Gevent模块后,得到三个多层次的事件编码特征event_encs[1],event_encs[2]和event_encs[3]; 所述Gattention模块包含三个融合模块,三个Fused-Moudle模块分别为Fused-Moudle模块1、Fused-Moudle模块2和Fused-Moudle模块3,每个Fused-Moudle模块包含两个自定义的归一化层,两个自定义的归一化层分别为图像归一化层和事件归一化层,归一化层用于在特征融合前对图像编码特征和事件编码特征进行归一化;一个注意力层,用于跨模态特征融合;一个多层感知机,用于特征映射和特征维度处理;Gattention模块的执行步骤如下: S4.3.1,将事件编码特征event_encs[1]和图像编码特征img_encs[1]输入Fused-Moudle模块1,判断二者的维度是否一致,如果维度不一致则无法融合,如果尺寸一致则继续如下执行; S4.3.2,图像编码特征img_encs[1]经过图像归一化层,得到归一化后的图像特征1;同理,事件编码特征event_encs[1]经过事件归一化层,得到归一化后的事件特征1; S4.3.3,将S4.3.2中得到的图像特征1和事件特征1输入注意力层进行特征融合,得到融合后的特征,将融合后的特征输入到MLP网络中进行特征映射和尺寸调整,最终输出与事件特征1和图像特征1维度一致的融合特征fused[1]; S4.3.4,分别将事件编码特征event_encs[2]和图像编码特征img_encs[2]输入Fused-Moudle模块2,经过事件归一化和图像归一化处理后得到事件特征2和图像特征2,再根据S4.3.3得到与事件特征2和图像特征2维度一致的融合特征fused[2]; S4.3.5,分别将事件编码特征event_encs[3]和图像编码特征img_encs[3]输入Fused-Moudle模块3,经过事件归一化和图像归一化处理后得到事件特征3和图像特征3,再根据S4.3.3得到与事件特征3和图像特征3维度一致的融合特征fused[3]; 最终,三个不同层次的事件编码特征和图像编码特征经过Gattention模块融合处理后得到三个融合特征fused[1],fused[2]和fused[3],三个融合特征fused[1],fused[2]和fused[3]为一个层数为3的融合特征金字塔,三个融合特征fused[1],fused[2]和fused[3]作为后续图像重建模块的输入; 所述Grestoration模块用于从融合特征中恢复出清晰图像,Grestoration模块包括两个上采样模块和一个卷积激活模块;两个上采样模块包括上采样模块1和上采样模块2,每个上采样模块包含一个反卷积层和一个图像卷积模块,反卷积层的卷积核大小为2×2,步长stride=2,padding=1,卷积激活模块包含3个卷积层和一个RELU激活层;融合特征fused[1],fused[2]和fused[3]经过Grestoration模块后,输出清晰图像;Grestoration模块的执行步骤如下: S4.4.1,将融合特征fused[2]和fused[3]输入上采样模块1中,经过反卷积上采样和卷积、激活、残差连接后得到解码特征decs[0]; S4.4.2,将解码特征decs[0]和融合特征fused[1]输入上采样模块2,经过反卷积上采样和卷积、激活、残差连接后得到解码特征decs[1]; S4.4.3,将解码特征decs[1]和运动模糊图像输入到卷积激活模块中,最终输出清晰图像; 最终,融合特征fused[1],fused[2]和fused[3]经过Grestoration模块处理,能有效去除运动模糊,输出清晰图像; 步骤5,训练注意力网络:构建损失函数,通过计算损失函数的值,更新注意力网络参数,直至注意力网络收敛; S5.1,确定损失函数PSNRLoss:损失函数PSNRLoss公式如下: 其中,MAX_I为训练图像块中像素最大值,MSE为预测图像和真实图像之间的均方误差; S5.2,在训练集上训练:采用两张NVIDA1080TiGPU显卡训练;注意力网络的学习率设置为0.0002,并采用余弦衰减策略;每张NVIDA1080TiGPU显卡的batch_size设置为4;迭代次数为200000次;注意力网络收敛后保存模型权重; S5.3,在测试集上测试:测试结果中,峰值信噪比PSNR指标为34.57,结构相似性SSIM指标为0.9660; 步骤6,执行模型推理:首先按照步骤2至步骤3对运动模糊图像进行预处理,然后将预处理后的运动模糊图像输入到训练好的注意力网络模型中,得到去运动模糊的清晰图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北工业大学,其通讯地址为:710072 陕西省西安市友谊西路127号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励