福州大学陈羽中获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉福州大学申请的专利基于边缘检测辅助的弱监督RGBD图像显著性检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116524207B 。
龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211575959.9,技术领域涉及:G06V10/46;该发明授权基于边缘检测辅助的弱监督RGBD图像显著性检测方法是由陈羽中;朱文婧;牛玉贞;杨立芬设计研发完成,并于2022-12-08向国家知识产权局提交的专利申请。
本基于边缘检测辅助的弱监督RGBD图像显著性检测方法在说明书摘要公布了:本发明涉及一种基于边缘检测辅助的弱监督RGBD图像显著性检测方法,包括以下步骤:步骤S1:建立包含涂鸦标注图的弱监督RGBD图像显著性检测训练集,并进行数据增强;步骤S2:设计多层次、多任务的弱监督RGBD图像显著性检测网络;步骤S3:设计融合模块;步骤S4:设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络,并设计损失函数优化网络参数;步骤S5:将待测RGBD图像输入训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型中,得到显著性检测结果。应用本技术方案能够实现性能较好的弱监督RGBD图像显著性检测。
本发明授权基于边缘检测辅助的弱监督RGBD图像显著性检测方法在权利要求书中公布了:1.基于边缘检测辅助的弱监督RGBD图像显著性检测方法,其特征在于,包括以下步骤: 步骤S1:建立包含涂鸦标注图的弱监督RGBD图像显著性检测训练集,并进行数据增强; 步骤S2:设计多层次、多任务的弱监督RGBD图像显著性检测网络,使用该网络得到多尺度边缘细化的显著性预测结果; 步骤S3:设计融合模块,使用该模块融合多尺度边缘细化的显著性预测结果,得到最终的显著性预测结果; 步骤S4:设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络,并设计损失函数优化网络参数,得到训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型; 步骤S5:将待测RGBD图像输入训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型中,得到显著性检测结果; 所述步骤S2具体为: 步骤S21:首先,分别将彩色图像和深度图输入两支VGG16网络中,接着将5个卷积层Conv1,Conv2,Conv3,Conv4和Conv5和池化层Pool5提取到的6个层次的特征分别作为多层次彩色图像特征k=1…6,和多层次深度图特征k=1…6; 步骤S22:设计初始显著性预测分支,在6个层次中的每个层次先拼接彩色图像特征和深度图特征接着将拼接特征送入跨模态特征融合模块CFF进行彩色图像特征和深度图特征的融合;跨模态特征融合模块由一个3×3卷积层、通道注意力、空间注意力和一个3×3卷积层串联组成;最后融合后的特征再通过卷积核为1的卷积层将其降至1维,该过程用公式表示如下: 其中表示第k层的初始显著性特征,和分别表示第k层的彩色图像特征和深度图特征,表示拼接操作,FCFF表示初始显著性预测分支中的跨模态特征融合模块,Conv1×1代表卷积核为1的卷积层; 步骤S23:设计边缘检测分支,得到边缘特征Ek的过程与初始显著性预测分支相同,公式如下: 其中Ek表示第k层的边缘特征,和分别表示第k层的彩色图像特征和深度图特征,表示拼接操作,FCFF'表示边缘检测分支中的跨模态特征融合模块,Conv1×1代表卷积核为1的卷积层; 步骤S24:设计边缘细化显著性预测模块;在6个层次中的每个层次先拼接初始显著性特征和边缘特征Ek,接着通过卷积核为1的卷积层将拼接特征的维度降至1维,公式如下: 其中Sk表示第k层的边缘细化的显著性特征,和Ek分别表示第k层的初始显著性特征和边缘特征,表示拼接操作,Conv1×1代表卷积核为1的卷积层; 所述步骤S3具体为: 步骤S31:设计融合模块;设计融合模块,逐层将深层特征整合至浅层特征,具体过程用公式表示如下: Sfinal=σConv3×3H1 其中Hk表示第k层的聚合特征,Sk表示第k层的边缘细化的显著性特征,Fup表示上采样,Conv3×3代表卷积核为3的卷积层,σ表示Sigmoid激活函数,Sfinal表示最终的显著性预测结果; 所述步骤S4具体为: 步骤S41:组合步骤S2设计的多层次、多任务的弱监督RGBD图像显著性检测网络和步骤S3设计的融合模块,得到基于边缘检测辅助的弱监督RGBD图像显著性检测网络; 步骤S42:设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络的损失函数如下: 其中L表示最终训练的损失函数,∑表示求和,k∈{1,…6}, 和分别是作用在初始显著性预测分支第k层、边缘细化显著性预测模块第k层和最终的显著性预测结果上的部分交叉熵损失, 和分别是作用在初始显著性预测分支第k层、边缘细化显著性预测模块第k层和最终的显著性预测结果上的平滑损失,是作用在边缘检测分支第k层上的交叉熵损失; 和的具体计算公式如下: Sk'=σSk Ek'=σEk 其中σ表示Sigmoid激活函数,和分别表示初始显著性预测分支中第k层的初始显著性特征和第k层的初始显著性预测图,Sk和Sk'分别表示边缘细化显著性预测模块中第k层的边缘细化的显著性特征和第k层的边缘细化的显著性预测图,Y表示输入的涂鸦标注图,U表示涂鸦标注图Y中的涂鸦区域,i,j∈U表示位于涂鸦区域中的像素,log表示log函数,Sfinal表示最终显著性预测结果图,Δ表示求导,ΔS'k、ΔI[i,j]、ΔG[i,j]和ΔSfinal[i,j]分别表示对第k层的初始显著性预测图、第k层的边缘细化的显著性预测图、彩色图像、深度图和最终显著性预测结果图求导后的图,|·|表示取绝对值,e为常数,α为固定参数,定义为以避免结果为0,Ek和Ek'分别表示边缘检测分支中第k层的边缘特征和第k层的边缘图,E表示输入的边缘图,[i,j]表示图像的第i行和第j列像素,Y[i,j]、S′k[i,j]、Sfinal[i,j]、ΔS'k、ΔI[i,j]、ΔG[i,j]、E[i,j]和Ek′[i,j]分别表示图像Y、S′k、Sfinal、ΔS'k、ΔI、ΔG、E和Ek'的第i行和第j列像素处的值; 步骤S43:以批次为单位重复上述步骤S2至步骤S4,直至步骤S4中计算得到的损失函数值收敛并趋于稳定,保存网络参数,完成基于边缘检测辅助的弱监督RGBD图像显著性检测网络的训练过程,得到基于边缘检测辅助的弱监督RGBD图像显著性检测模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福州大学,其通讯地址为:350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。