买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种跨模态交互RGB-D图像显著区域检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114445618B 。

龙图腾网通过国家知识产权局官网在2025-08-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111665038.7，技术领域涉及：G06V10/25；该发明授权一种跨模态交互RGB-D图像显著区域检测方法是由周洋;任建凯;徐岩;俞定国;杨阳;涂海程;殷海兵设计研发完成，并于2021-12-31向国家知识产权局提交的专利申请。

本一种跨模态交互RGB-D图像显著区域检测方法在说明书摘要公布了：本发明方法公开了一种跨模态交互RGB‑D图像显著区域检测方法。本发明方法首先分别从彩色图和深度图中利用VGG16网络提取RGB特征和深度特征；然后在RGB‑D交互模块中RGB特征和深度特征相互纠正，并增强边缘细节；深度权重分配模块中根据深度特征计算处理后的多个特征的融合权重；最后在注意力更新模块中细化融合后的特征。本发明方法将RGB与深度联系起来，通过补充丰富的边界信息来增强目标区域；在多尺度深度权重模块中计算权重，根据深度图的质量来决定其对显著区域的影响程度，消除了低质量深度图带来的负面影响，并提升算法的整体性能。本发明方法可以直接应用在3D图像处理，3D质量评估以及物体识别等工程领域中。

本发明授权一种跨模态交互RGB-D图像显著区域检测方法在权利要求书中公布了：1.一种跨模态交互RGB-D图像显著区域检测方法，其特征在于： 首先分别从彩色图和深度图中利用VGG16网络提取RGB特征和深度特征；其次在RGB-D交互模块中RGB特征和深度特征相互纠正，并增强边缘细节；然后在深度权重分配模块中根据深度特征计算处理后的多个特征的融合权重；最后在注意力更新模块中细化融合后的特征，并得到最终显著图；步骤如下： 步骤1从两个改进的VGG16网络中分别提取深度特征和RGB特征，并设计综合考虑像素级、边缘、区域损耗的损失函数；所述的VGG16网络结构包含13个卷积层，3个全连接层，5个池化层； 1-1去掉全连接层； 1-2综合边缘、像素、区域的预测误差，总损失函数L＝Lbce+Le+Lr；其中，Lbce为二元交叉损失，Le为增强边缘损失，Lr为区域预测损失； N是输入图像中的像素总数,H、W分别是输入图像的高度和宽度； 计算每个位置的像素真值g和预测值p之间的误差，然后累加并平均所有位置的误差得到增强边缘损失中间参数其中，ρ·表示具有5×5滑动窗口的平均池化运算，P＝{p|0＜p＜1}∈RN×1×H×W，G＝{g|0＜g＜1}∈RN×1×H×W；通过e得到接近真值图轮廓的局部区域，在这个区域计算出预测值p与像素真值g之间的差值Le；前景预测损失背景预测损失步骤2在RGB-D交互模块中补充RGB特征，修正深度图带来的错误，并增强边缘特征；舍弃了从VGG16提取的前两层低级特征，在三个RGB-D交互模块中分别处理第l层RGB特征与深度特征，l＝3,4,5,具体是： 2-1跨通道注意单元处理：首先，将深度图0-1分成m个二进制标识图，以找到对显著性检测有用的深度区域；对于第i个标识图，如果其像素在深度图的对应像素值大于且小于则标识图中此像素值为1，否则为0；对于RGB模块，首先生成一个由真值图监督的粗略的初始显著图Spr，是通过卷积运算Conv·从RGB特征的第5层生成初始显著性图，即其中为从VGG16网络中提取的第5层RGB特征； 深度特征补充RGB特征的计算过程为：交互处理后的第l层RGB特征其中，为第l层的RGB特征，N为图像中的像素总数，di表示第i个二进制标识图，di,j表示第i个标识图中第j个像素的像素值，Sj pr表示初始显著图Spr中的第j个像素的像素值； 对进一步处理：其中，Conv·表示卷积运算；Cat·表示拼接运算；CA·为通道注意运算，包括一个平均池化运算和一个最大池化运算；S″为初始显著图的变换形式，当l＝5时，S″＝Spr，其余情况下S″＝1-Spr； 对于深度特征的处理，以初始显著图为基础，把多个二进制标识图进行加权处理， 为从VGG16网络中学习的第l层深度特征； 2-2边界增强单元处理：设计一个多尺度边界特征提取器，包含四个具有不同感受野1，3，5，7的并行扩张卷积块，然后结合得到显著边缘增强特征和每一级的显著特征，显著边缘增强特征 表示元素加法，Fb表示在多尺度边界特征提取器之后从RGB模式中提取的边界特征，Fl为从VGG16网络中提取的深度RGB特征；对于Fb，由显著真值图生成的边缘真值图监督； 步骤3深度权重分配模块中根据深度特征计算处理后的多个特征的融合权重，根据深度特征的特点来融合步骤2中增强后的两种特征，具体是： 在提取深度特征的VGG16网络之后增加一个全局池化层和一个卷积层；处理第5层深度特征得到k个相同分辨率但上下文不同的多尺度特征；对第k个多尺度深度特征进行全局平均池化处理后再卷积处理，使用softmax函数计算对应的深度权重其中，AvePooling·表示平均池化运算，V表示对应的卷积参数矩阵，*表示卷积运算，δ·表示softmax函数； 两种增强后特征融合后的三层增强特征 为深度边界增强特征，为RGB边界增强特征，为深度交互增强特征,为RGB交互增强特征，w为深度权重分配计算时的权重，其中K为多尺度深度特征的数量，K＝6； 步骤4在注意力更新模块中细化融合后的特征，结合注意力机制和ConvLSTM网络更新显著特征，具体是： 根据ht和Fs生成的注意力图Attcht,Fs＝δAvgPoolingW0*ht+W1*Fs；其中下标t表示ConvLSTM中的时间步长，W0和W1分别为ht和Fs的权重参数，ht表示用于记忆场景的先前存储记忆，Fs为输入特征； 表示元素乘法； 将注意力块处理后的特征输入ConvLSTM，进一步更新不同语义特征之间的空间相关性； 经过更新后迭代后，获得最终特征FM,通过1×1的卷积层和上采样操作得到最终的显著图S。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。