买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京邮电大学申请的专利一种基于深度学习与哈希算法的多模态检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116204694B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310126081.9，技术领域涉及：G06F16/953；该发明授权一种基于深度学习与哈希算法的多模态检索方法是由欧中洪;罗中李;宋美娜;尧思远设计研发完成，并于2023-02-15向国家知识产权局提交的专利申请。

本一种基于深度学习与哈希算法的多模态检索方法在说明书摘要公布了：本发明提出一种基于深度学习与哈希算法的多模态检索方法，包括，获取待检索的多模态数据；基于深度学习与哈希编码的方法对多模态数据进行文本语义检索，获取文本数据；基于灰度级比较的方法和ElasticSearch技术对多模态数据进行图片检索，获取图片数据；使用基于双编码器的模型将文本数据和图片数据映射至统一的向量子空间中；通过计算余弦相似度得到文本数据和所述图片数据在向量子空间中的相似度距离，得到候选集；使用基于融合编码器的模型在候选集上计算相似度并进行排序，得到多模态数据的检索结果。通过本发明提出的方法，实现了大规模数据集上的高效率高精度多模态检索任务。

本发明授权一种基于深度学习与哈希算法的多模态检索方法在权利要求书中公布了：1.一种基于深度学习与哈希算法的多模态检索方法，其特征在于，包括以下步骤： 获取待检索的多模态数据；基于深度学习与哈希编码的方法对所述多模态数据进行文本语义检索，获取文本数据；基于灰度级比较的方法和ElasticSearch技术对所述多模态数据进行图片检索，获取图片数据； 使用基于双编码器的模型将所述文本数据和所述图片数据映射至统一的向量子空间中； 通过计算余弦相似度得到所述文本数据和所述图片数据在所述向量子空间中的相似度距离，得到候选集； 使用基于融合编码器的模型在所述候选集上计算相似度并进行排序，得到所述多模态数据的检索结果； 其中，所述使用基于双编码器的模型将所述文本数据和所述图片数据映射至统一的向量子空间中，包括： 在基于多路Transformer预训练模型的基础上，使用对比学习的方法训练图片编码器和文本编码器；所述使用对比学习的方法训练图片编码器和文本编码器包括： 在包含多头自注意力模块、视觉前馈网络和文本前馈网络的编码器中实现线性变换和正则化操作，得到图片向量以及文本向量，用于计算从图到文和从文到图的相似度： ， ，， 其中表示从图到文时第i个图文匹配对中的图片和第j个图文匹配对中的文本之间的相似度，表示从文到图时第i个图文匹配对中的图片和第j个图文匹配对中的文本之间的相似度，和分别表示第i个匹配对中的文本和第j个匹配对中的图片经正则化后的向量表示，为温度参数，和为经过正则化和softmax操作后的相似度； 利用从图到文和从文到图的相似度以及交叉熵损失函数实现模型的对比学习训练，得到最终的图片编码器和文本编码器； 所述在基于多路Transformer预训练模型的基础上进行微调，包括： 将图片表征数据输入预训练模型，对视觉前馈网络和多头自注意力模块进行训练； 将得到的视觉前馈网络和多头自注意力机制模块中的参数冻结，再将文本表征数据输入所述预训练模型，使用掩码语言模型自监督学习方法训练文本前馈网络； 使用图文匹配对来训练整个预训练模型，得到最终的预训练模型，用于后续构建双编码器和融合编码器。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京邮电大学，其通讯地址为：100876 北京市海淀区西土城路10号北京邮电大学新科研楼627室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。