买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉昆明理工大学申请的专利一种鲁棒哈希的不配对零样本图文跨模态检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116932783B 。

龙图腾网通过国家知识产权局官网在2025-12-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310902853.3，技术领域涉及：G06F16/432；该发明授权一种鲁棒哈希的不配对零样本图文跨模态检索方法是由舒振球;永凯玲;余正涛设计研发完成，并于2023-07-21向国家知识产权局提交的专利申请。

本一种鲁棒哈希的不配对零样本图文跨模态检索方法在说明书摘要公布了：本发明公开了一种鲁棒哈希的不配对零样本图文跨模态检索方法。能有效地解决同时包含噪声标签以及不配对的检索场景。该方法设计了一个零样本图文跨模态哈希检索框架为图像和文本两个模态学习不同的哈希码，使其适用于不配对检索场景。此外，该方法分别为噪声矩阵和恢复的标签矩阵上施加了稀疏约束和低秩约束，以有效地降低噪声标签的负面影响。然后，在标签语义嵌入学习中引入ε拖曳，以此来学习更具判别性的哈希码。为了增强哈希码中的相似性语义信息，同时考虑了模态内相似性和模态间相似性。本发明提高了在带有噪声标签的不配对零样本图文跨模态检索的检索精度。

本发明授权一种鲁棒哈希的不配对零样本图文跨模态检索方法在权利要求书中公布了：1.一种鲁棒哈希的不配对零样本图文跨模态检索方法，其特征在于：所述方法的具体步骤如下： Step1、图文跨模态数据集特征提取：对原始图文跨模态数据集中的图像和文本进行特征提取以及对数据集中包含的类进行属性向量提取； Step2、图文跨模态数据集处理：根据带噪声标签的不配对零样本图文跨模态检索场景，为现有的图文跨模态数据集添加标签噪声、进行不配对处理以及划分可见类和不可见类； Step3、建立鲁棒哈希的不配对零样本图文跨模态检索模型：首先，分别为噪声矩阵和恢复的标签矩阵上施加稀疏约束和低秩约束，以有效地降低噪声标签的负面影响；然后，在标签语义嵌入学习中引入ε拖动方法，以此来学习更具判别性的哈希码；此外，为了增强图像和文本哈希码中的相似性语义信息，同时考虑图像和文本的模态内相似性和模态间相似性；最后，设计一个零样本图文跨模态哈希检索框架为图像和文本模态同时学习不同的哈希码，使其适用于不配对检索场景； Step4、不配对零样本图文跨模态检索模型的更新优化：设计迭代离散优化算法来求解Step3得到的不配对零样本图文跨模态检索模型，直到模型收敛或达到最大迭代次数，得到训练集的哈希码以及哈希函数； Step5、不配对零样本图文跨模态检索：首先，通过Step4训练的哈希函数得到不配对图文跨模态检索的检索集和查询集的哈希码；然后，将查询集放入检索集进行查询，通过计算查询集的哈希码与检索集中各样本的哈希码之间的汉明距离来获取查询结果，汉明距离最小者即为最终的查询结果； 所述Step3包括： Step3.1、噪声标签学习：为了缓解图文跨模态训练集中的噪声标签问题，将观察到的标签分解成两个部分：恢复标签和噪声；由于标签之间的潜在相关性，恢复标签应表现出低秩特征，并引入了对噪声矩阵的稀疏约束来增强算法的鲁棒性，由公式1陈述: 1 其中，表示第个模态的原始噪声标签矩阵，表示第个模态的恢复标签矩阵，对应于第个模态的噪声矩阵，共包括图像和文本两个模态； Step3.2、语义增强学习：在图像和文本的哈希码学习中，为了增强哈希码的语义判别性，将在哈希码中嵌入标签信息；此外，利用ε拖拽使得不同类别的回归目标沿着相反的方向移动，从而扩大不同类别之间的差距，以此来进一步增强哈希码中的判别性，语义增强学习通过最小化以下问题而得到： ； 2 其中，表示第个模态ε拖拽后的标签矩阵，和分别表示第个模态ε拖拽的方向矩阵和数值矩阵，表示第个模态的正交投影矩阵，表示第个模态的哈希码，为哈希码长度，为第个模态的训练样本数量； Step3.3、属性空间学习：通过类之间的属性关系构造属性空间来实现从可见类到不可见类的知识转移；此外，将恢复的标签嵌入到属性空间中，这样不仅提高属性空间的语义信息，还能利用属性空间中的数据特征来指导恢复标签的学习；通过优化下面的问题得到图像和文两个模态的属性空间: 3 其中，表示第个模态的特征矩阵，是类属性矩阵，表示第个模态的投影矩阵； Step3.4、相似性保留学习：为了在图像和文本哈希码中充分嵌入语义信息，使用语义相似性来进一步扩大类间距离，缩小类内距离；具体来说，在不配对图文跨模态检索中，不仅要关注图像和文本的模态内相似性，也要关注图像和文本的模态间相似性，模态间相似性能有效地解决模态间的异质性差异问题，提升图文跨模态检索性能，通过优化以下问题进行相似性保留学习: ； 4 其中，和分别表示第个模态和第个模态的潜在表示，是第个模态的模态内相似性，表示图像和文本的模态间相似性； Step3.5、图像和文本的哈希函数学习：通过最小二乘回归问题来学习图像和文本的哈希函数，然而，仅使用线性变换不会表现出足够强大的辨别能力，通过在线性变换中添加漂移来学习哈希函数： 5 其中，表示第个模态的漂移，而是元素1的向量，是第个模态的投影矩阵； 所述Step3中所构建的模型对应的目标函数为： ； 6 其中，，表示模型的正则化项，用于防止过拟合；、、、和为非负参数，为第个模态的特征经过核函数得到的矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人昆明理工大学，其通讯地址为：650500 云南省昆明市呈贡区景明南路727号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。