买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利面向RGB-D数据的多模态再平衡自监督学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117150302B 。

龙图腾网通过国家知识产权局官网在2025-12-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311150236.9，技术领域涉及：G06F18/214；该发明授权面向RGB-D数据的多模态再平衡自监督学习方法是由陈浩;沈飞鸿;张立创设计研发完成，并于2023-09-07向国家知识产权局提交的专利申请。

本面向RGB-D数据的多模态再平衡自监督学习方法在说明书摘要公布了：本发明公开一种面向RGB‑D数据的多模态再平衡自监督学习方法，构建RGB‑D多模态再平衡自监督学习框架对编码器进行强模态掩码预训练，并将预训练的编码器参数输入下游RGB‑D显著目标检测任务的网络模型中，得到训练后的下游RGB‑D显著目标检测任务的网络模型，完成推理输出预测结果；所述面向RGB‑D数据的多模态再平衡自监督学习方法包括模态内对比学习范式与模态间对比学习范式，本发明采取分阶段策略来提升编码器依次学习单模态独立特征和多模态联合特征，同时对强模态采用掩码策略抑制其在多模态融合中的主导性，从而鼓励弱模态学习更多互补特征，以减小模态强弱不平衡导致互补特征学习不充分的影响。

本发明授权面向RGB-D数据的多模态再平衡自监督学习方法在权利要求书中公布了：1.面向RGB-D数据的多模态再平衡自监督学习方法，其特征在于:构建RGB-D数据多模态再平衡自监督框架对编码器进行预训练，经过掩码预训练抑制强模态特征后将预训练的编码器参数输入下游RGB-D显著目标检测任务的网络模型中，对网络模型进行有监督训练，得到训练后的下游RGB-D显著目标检测任务的网络模型，完成推理输出预测结果； 所述面向RGB-D数据的多模态再平衡自监督框架包括模态内对比学习范式与模态间对比学习范式，其中， 模态内对比学习范式，包含RGB模态对比学习、深度模态对比学习和模态内对比学习损失；所述RGB模态对比学习与深度模态对比学习并行训练，采用MOCO框架对两者的编码器进行初步训练；所述模态内对比学习损失采用InfoNCE损失函数，具体为： ； 其中，为RGB模态的对比学习损失，为深度模态的对比学习损失； 模态间对比学习范式，包含再平衡融合编码器和跨模态对比学习损失；所述再平衡融合编码器通过强模态掩码的方法抑制RGB模态在学习过程中的主导地位，并对融合RGB和深度特征后的多模态特征进行对比学习，使编码器均衡学习多模态的融合表征；再平衡融合编码器对RGB强模态采取掩码操作以均衡地学习各模态表征，掩码生成过程如下： ； 其中表示RGB特征第j个通道的通道注意力值，top{.},k表示取{.}中最大k个元素，k值选取为特征通道数n的二分之一,掩码后再将两者的模态拼接，得到总的融合表征进行对比学习，在RGB特征和深度特征通过再平衡融合编码器完成特征融合后，得到融合查询表示和融合键表示； 所述跨模态对比学习损失采用InfoNCE损失函数，具体为： ； 整个多模态再平衡自监督学习框架总损失为： 。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：211189 江苏省南京市江宁区东南大学路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。