买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利一种基于自监督的RGB-D特征学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115239970B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202110435066.3，技术领域涉及：G06V10/44；该发明授权一种基于自监督的RGB-D特征学习方法是由王利民;李朝阳;杜大鹏;武港山设计研发完成，并于2021-04-22向国家知识产权局提交的专利申请。

本一种基于自监督的RGB-D特征学习方法在说明书摘要公布了：一种基于自监督的RGB‑D特征学习方法，包括以下步骤：1处理训练样例阶段；2网络配置阶段；3训练阶段；4测试阶段。本发明设计的自监督设计框架将Depth和RGB进行有效结合，通过对比学习和生成学习迫使自监督模型学习模态之间的共享信息，从而获得有效的特征表示，更好的服务下游任务。相比现在的方法使用RGB预训练模型初始化Depth分支模型存在模态差异，以及使用像素级约束存在样本分布不均匀等问题。本发明通过自监督学习以及对比学习等方式有效地融合Depth和RGB信息，并避免了这类问题。

本发明授权一种基于自监督的RGB-D特征学习方法在权利要求书中公布了：1.一种基于自监督的RGB-D特征学习方法，其特征是利用RGB图像和深度Depth图像结合得到RGB-D特征，以RGB-D特征构建监督场景分类模型用于场景分类； 首先训练一个自监督特征学习框架，包括特征生成器、跨模态特征提取器、结构间鉴别器和结构内鉴别器，自监督特征学习框架以RGB图像或Depth图像作为输入模态，并以对应的Depth图像或RGB图像为目标模态，首先使用特征生成器对输入模态进行下采样编码和上采样解码操作，获得生成模态，再对生成模态和对应的目标模态、以及一张随机的目标模态，分别使用跨模态特征提取器提取高级语义特征，将生成模态的高级语义特征分别与两个目标模态的高级语义特征拼接，作为正负样本输入到结构间鉴别器中进行对比学习，最大化目标模态与生成模态之间的共享高级语义信息，同时将生成模态和对应的目标模态分别输入结构内鉴别器进行生成学习，基于生成对抗网络原理使生成模态与对应的目标模态数据的分布趋于一致，从而学习到目标模态的细节信息； 根据训练得到的自监督特征学习框架中的特征生成器，连接两层随机初始化全连接层，得到监督场景分类模型网络结构，再由训练样例对监督场景分类模型网络结构进行训练微调，得到最终的监督场景分类模型； 包括以下步骤： 1处理训练样例阶段，训练样例包括RGB图像及其对应的Depth图像，并将单通道的Depth图转化为HHA格式的三通道彩色图，H、H、A分别表示水平差异、对地高度以及表面法向量的角度； 2网络模型配置阶段，首先构建自监督特征学习框架，以RGB图像为输入模态，对应的Depth图像为目标模态，或者以Depth图像为输入模态，对应的RGB图像为目标模态，由输入模态获得生成模态，与目标模态相互作用，由训练好的自监督特征学习框架得到监督场景分类模型；自监督特征学习框架包括以下配置： 2.1特征生成器，使用ResNet18作为主干网络，对输入特征进行下采样编码，再进行上采样解码获得生成模态特征，其中，在主干网络layer1的第一次卷积操作时，使用步长为2的卷积操作进行下采样； 2.2跨模态特征提取器，将生成模态及对应的目标模态，以及一张随机的目标模态，分别作为跨模态特征提取器的输入，分别提取高级语义特征，即高维特征； 2.3结构间鉴别器，将两个目标模态的高维特征分别与生成模态的高维特征拼接，形成两个正负样本，利用1*1的卷积层对正负样本进行维度降低，然后再进行对比学习； 2.4结构内鉴别器，结构内鉴别器为生成对抗网络，结构内鉴别器以生成模态高维特征及其对应的目标模态高维特征作为输入，使生成模态学习对应目标模态的高维特征信息； 2.5监督场景分类模型：由步骤1的训练样例训练2.1-2.4步骤配置得到的自监督特征学习框架，将得到的主干网络ResNet18增加两层随机初始化全连接层，得到监督场景分类模型； 3训练阶段，基于训练好的自监督特征学习框架的参数初始化监督场景分类模型，再用训练样例进一步微调训练监督场景分类模型； 4测试阶段，对待进行特征分类的图像，通过训练完成的监督场景分类模型进行分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210023 江苏省南京市栖霞区仙林大道163号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。