买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利基于协同学习的跨模态遥感图文匹配网络及其匹配方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116578737B 。

龙图腾网通过国家知识产权局官网在2026-03-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310586807.7，技术领域涉及：G06F16/583；该发明授权基于协同学习的跨模态遥感图文匹配网络及其匹配方法是由唐旭;王懿婧;马晶晶;张向荣;焦李成设计研发完成，并于2023-05-23向国家知识产权局提交的专利申请。

本基于协同学习的跨模态遥感图文匹配网络及其匹配方法在说明书摘要公布了：本发明公开了一种基于协同学习的跨模态遥感图文匹配网络及其匹配方法，主要解决现有遥感图文匹配能力不足的问题。该图文匹配网络由特征嵌入模块、信息交互增强模块和检索模块组成。特征嵌入模块提取文本和遥感图像的最终嵌入特征；信息交互增强模块对特征嵌入模块输出的嵌入特征进行图文语义关系的协同学习，并增强对遥感图像通道和局部信息的学习，输出初步图文交互特征；检索模块对信息交互增强模块输出的初步图文交互特征进行图文语义关系的对齐，输出最终图文匹配分数。本发明通过信息交互增强模块学习图文语义关系，提高了网络性能，进一步挖掘了遥感图像的通道和局部信息，增强了网络的泛化性能，可用于地理位置搜索、自然灾害分析和预警。

本发明授权基于协同学习的跨模态遥感图文匹配网络及其匹配方法在权利要求书中公布了：1.一种基于协同学习的跨模态遥感图文匹配网络模型，其特征在于，包括：特征嵌入模块1、信息交互增强模块2和检索模块3； 所述特征嵌入模块1，其包括一个文本嵌入子模块11和图像嵌入子模块12，用于获取文本和图像的最终嵌入特征，输出给信息交互增强模块2； 所述信息交互增强模块2，其包括三个串联的特征交互增强子模块组成，每个特征交互增强子模块包括模态间关系交互单元21、通道角度特征增强单元22和局部角度特征增强单元23，用于将文本和图像的嵌入特征协同输入transformer进行对齐图文之间的语义关系，同时对遥感图像从通道和局部两方面进一步解译特征中包含的信息，并输出给检索模块3； 所述模态间关系交互单元21，用于协同输入图文特征进行跨模态信息的学习，其由一个transformer组成，该transformer包含两层层归一化层、一层多头注意力层和一层多层感知机层，其结构为：第一层归一化层→多头注意力层→第二层归一化层→多层感知机层，且第一归一化层的输入和多头注意力层的输出残差连接，第二归一化层的输入和多层感知机层的输出残差连接， 所述通道角度特征增强单元22，用于对遥感图像的通道信息进行解译学习，其结构与模态间关系交互单元21相同； 所述局部角度特征增强单元23，用于利用深度卷积学习遥感图像的局部信息，增强网络区别背景和重要区域的能力，其包括一个层归一化层，三个卷积核，两个的深度卷积和一个高斯误差线性单元； 所述检索模块3，其包括一个多层模态间关系交互子模块31、一个图像-文本匹配器子模块32和交叉熵损失函数组成，用于将信息交互增强模块输出的特征再进行跨模态特征交互，并利用输出最终的匹配分数； 所述多层模态间关系交互子模块31，用于深度挖掘图像和文本之间的语义关系，拉近图文跨模态的语义鸿沟；其由三层transformer组成，每个transformer包含两层层归一化层、一层多头注意力层和一层多层感知机层，其结构为：第一层归一化层→多头注意力层→第二层归一化层→多层感知机层，且第一归一化层的输入和多头注意力层的输出残差连接，第二归一化层的输入和多层感知机层的输出残差连接； 所述图像-文本匹配器子模块32，由多层感知器和激活函数组成，其具体结构为：第一感知机层→激活函数→第二感知机层，用于最终输出图像和文本的匹配分数，作为最终检索结果的排序分数； 所述交叉熵损失函数，公式为: ； 其中为第对图文的匹配分数，为其图像-文本关系标签，当其为匹配图文时，否则。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。