买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利基于记忆单元优化特征的图文跨模态检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116578947B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310572494.X，技术领域涉及：G06F18/26；该发明授权基于记忆单元优化特征的图文跨模态检索方法是由高迪辉;盛立杰;苗启广设计研发完成，并于2023-05-19向国家知识产权局提交的专利申请。

本基于记忆单元优化特征的图文跨模态检索方法在说明书摘要公布了：本发明公开了一种基于记忆单元优化特征的图像文本互检索方法，主要解决现有技术难以准确表达图像与文本语义特征，导致检索准确率低的问题。其实现方案为：获取训练集和测试集；分别构建特征提取网络和记忆单元子网络；用训练集训练特征提取网络，并用该网络输出的图像与文本特征训练记忆单元子网络；将测试集输入到训练好的特征提取网络，得到图像和文本的特征；将该图像和文本的特征输入到优化后的记忆单元子网络中，得到优化后图像特征与优化后文本特征；计算优化后图像与优化后文本的特征相似度，检索得到图像‑文本检索结果与文本‑图像检索结果。本发明能准确表达图像与文本的语义特征，提高检索准确率，可用于自然图像和文本的相互匹配。

本发明授权基于记忆单元优化特征的图文跨模态检索方法在权利要求书中公布了：1.一种基于记忆单元优化特征的图文跨模态检索方法，其特征在于，包括如下步骤： 1从Flickr30k数据集中任意选取80％的图像及其对应的文本对组成训练集，20％的图像及其对应的文本对组成测试集； 2构建特征提取网络： 2a搭建一个由第一卷积层，第二卷积层，全连接层级联组成的图像特征处理子网络，用于提取图像的特征； 2b搭建一个由Bert层和全连接层级联组成的文本特征处理子网络，用于提取文本的特征； 2c将图像特征处理子网络与文本特征处理子网络并联组成特征提取网络； 3从训练集中随机选择1％个未选过的图像及其对应的文本，作为特征提取网络的输入； 4将所选图像及其对应的文本输入到特征提取网络中，分别输出每张图像的特征以及每张图像对应文本的特征； 5构建一个由可学习参数层，第一自注意力层，第二自注意力层，第三自注意力层，全连接层级联组成的记忆单元子网络；所述可学习参数层，其包含1个可变参数，可变参数的大小为2*1024，通过如下公式为每张图像及其对应文本拼接可变参数： 其中，M表示可变参数，vi表示所选图像及其对应的文本中第i张图像的特征，表示所选图像及其对应的文本中第i张图像拼接可变参数后的特征，tj表示所选图像及其对应的文本中第j个文本的特征，表示所选图像及其对应的文本中第j个文本拼接可变参数后的特征，[·,·]表示向量拼接操作； 6将每张图像与其对应文本的特征输入到记忆单元子网络中，分别输出每张图像优化后的特征以及每张图像对应文本优化后的特征； 7计算所选图像及其对应的文本中每张图像与其对应文本的特征相似度Si,j，i表示第i张图像，j表示第j个文本； 8根据特征相似度Si,j，设置记忆单元子网络的损失函数： Loss′i,j＝max[0.2-Si,j+Si,·[n],0]+max[0.2-Si,j+S·,j[n],0] 其中，Loss′i,j表示所选图像及其对应的文本中第i张图像的特征与第j个文本的特征的损失值；Si,·[n]表示计算所选图像及其对应文本中第i张图像与所有文本的特征相似度，在从大到小排序后所选择的第n个位置特征相似度；S·,j[n]表示计算所选图像及其对应的文本中第j个文本与所有图像的特征相似度，在从大到小排序后所选择的第n个位置特征相似度； 9将每张图像与其对应文本的特征相似度代入到记忆单元子网络损失函数Loss′i,j中，得到每张图像与其对应文本的损失值θi,j，并用其计算特征提取网络和记忆单元子网络各个节点的梯度； 10利用梯度对特征提取网络和记忆单元子网络的各个节点权重进行更新，并判断当前更新迭代后记忆单元子网络的损失值是否小于0.00001： 若是，则得到训练好的特征提取网络和记忆单元子网络，执行步骤11； 否则，返回步骤3； 11对待检索的图像文本进行互检索： 11a将测试集中所有图像文本对输入到训练好的特征提取网络中，得到待检索的图像文本对中每一张图像和每一个文本的特征； 11b将每一张图像和每一个文本的特征输入到训练好的记忆单元子网络中，得到每一张图像优化后的特征和每一个文本优化后的特征； 11c计算每一张优化后图像与每一个优化后文本的特征相似度Si,j； 11d从所有计算得到的相似度中，选择每张图像与其相似度最高的文本作为图像-文本检索结果，选择每个文本与其相似度最高的图像作为文本-图像检索结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。