清华大学范嗣祺获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉清华大学申请的专利一种RGB-T图像语义分割方法和装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116091765B 。
龙图腾网通过国家知识产权局官网在2026-01-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211715697.1,技术领域涉及:G06V10/26;该发明授权一种RGB-T图像语义分割方法和装置是由范嗣祺;王岩;刘菁菁设计研发完成,并于2022-12-29向国家知识产权局提交的专利申请。
本一种RGB-T图像语义分割方法和装置在说明书摘要公布了:本发明提供一种RGB‑T图像语义分割方法和装置,包括:预先利用空间跨模态信息融合、多尺度特征迭代融合和RGB图像随机掩膜数据增强方法,在半标注的RGB‑T图像对数据集的基础上训练RGB‑T图像语义分割模型,以使RGB‑T图像语义分割模型的跨模态空间互补信息的挖掘能力和不良光照条件下的语义分割性能得以提升,标注成本得以下降。在应用阶段,利用RGB‑T图像语义分割模型生成目标RGB‑T图像对的语义分割图像,提升语义分割结果的准确性。
本发明授权一种RGB-T图像语义分割方法和装置在权利要求书中公布了:1.一种RGB-T图像语义分割方法,其特征在于,所述方法包括: 调用RGB-T图像语义分割模型;其中,所述RGB-T图像语义分割模型是利用RGB-T图像语义分割数据集对包含RGB分支和热红外分支的双分支RGB-T语义分割网络进行训练得到的; 将目标RGB-T图像对输入所述RGB-T图像语义分割模型,得到所述RGB分支输出的第一语义分割图像和所述热红外分支输出的第二语义分割图像; 根据所述目标RGB-T图像对的纹理信息缺失情况,从所述第一语义分割图像和所述第二语义分割图像中择其一作为所述目标RGB-T图像对的语义分割图像; 其中,所述RGB-T图像语义分割数据集,是采用RGB图像随机掩膜方式对第一数据集进行数据增强后得到的;所述第一数据集,是对由RGB-T图像对组成的数据集中部分RGB-T图像对进行像素级语义分割标注得到的; 所述双分支RGB-T语义分割网络,通过空间跨模态信息融合和多尺度特征迭代融合,深度挖掘输入RGB-T图像对的跨模态空间互补纹理特征; 其中,所述RGB分支包括第一输入层,第一特征编码器、第一特征解码器、第一像素级分类器和主预测输出层; 所述热红外分支包括第二输入层、第二特征编码器、第二特征解码器、第二像素级分类器和辅预测输出层; 其中,所述第一特征编码器包括K个特征提取层,分别记为至; 所述第二特征编码器包括K个特征提取层,分别记为至; 所述第一特征编码器和所述第二特征编码器共同包括K个空间跨模态信息融合模块,分别记为至; 其中,在所述第一特征编码器和所述第二特征编码器的组合结构中,利用所述对输入的RGB信息进行特征提取得到,利用所述对输入的热红外信息进行特征提取得到,并利用所述对和进行空间跨模态信息融合得到和;其中,,且当时,中输入的RGB信息为所述目标RGB-T图像对中的RGB图像,中输入的热红外信息为所述目标RGB-T图像对中的热红外图像,当时,中输入的RGB信息为利用所述得到的,中输入的热红外信息为利用所述得到的; 其中,所述空间跨模态信息融合模块包括:通道自适应降噪器、空间自适应需求图评估器和跨模态融合器; 所述利用所述进行空间跨模态信息融合得到,包括: 在通道自适应降噪器中,对进行最大值池化和均值池化处理得到第一最大值池化特征和第一均值池化特征,基于所述和所述,利用通道注意力机制生成第一通道注意力图,并将所述与所述的乘积作为所述的降噪特征; 同时,对进行最大值池化和均值池化处理得到第二最大值池化特征和第二均值池化特征,基于所述和所述,通道注意力机制生成第二通道注意力图,并将所述与所述的乘积作为所述的降噪特征; 在空间自适应需求图评估器中,基于和,利用空间注意力机制生成第一空间自适应需求图;同时基于和利用空间注意力机制生成第二空间自适应需求图; 在跨模态融合器中,将和点乘结果与进行加性融合得到所述,并将和的点乘结果与进行加性融合得到所述。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人清华大学,其通讯地址为:100084 北京市海淀区双清路30号清华大学清华园北京100084-82信箱;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励