买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院自动化研究所申请的专利一种用于未配对图像文本匹配的多模态概念知识对齐方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116881731B 。

龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310770444.2，技术领域涉及：G06F18/22；该发明授权一种用于未配对图像文本匹配的多模态概念知识对齐方法是由王亮;黄岩;郭奕君;王聿铭设计研发完成，并于2023-06-27向国家知识产权局提交的专利申请。

本一种用于未配对图像文本匹配的多模态概念知识对齐方法在说明书摘要公布了：本发明提供一种用于未配对图像文本匹配的多模态概念知识对齐方法，包括：从公开数据集中收集图像文本组，并基于图像文本组中单词相关图像区域对应的原型区域表示，获取预训练的常识；基于双向区域单词循环一致学习，以及未配对的图像和文本，对预训练的常识通过自监督学习方式进行细化，获取微调的领域知识；基于微调的领域知识，将未配对的图像和文本进行匹配，并通过原型区域表示来表示文本中已解析的单词，确定各单词与各图像区域表示对应的区域单词相似性分数；基于双向相似性池化模块，将图像文本组中各单词与各图像区域表示对应的区域单词相似性分数聚合为各图像文本全局相似性分数，显著提高在零样本和跨数据集图像文本匹配方面的性能。

本发明授权一种用于未配对图像文本匹配的多模态概念知识对齐方法在权利要求书中公布了：1.一种用于未配对图像文本匹配的多模态概念知识对齐方法，其特征在于，包括： 从公开数据集中收集图像文本组，并基于所述图像文本组中单词相关图像区域对应的原型区域表示，获取预训练的常识；所述图像文本组包括成对的单词及其相关图像区域； 基于双向区域单词循环一致学习，以及未配对的图像和文本，对所述预训练的常识通过自监督学习方式进行细化，获取微调的领域知识； 基于所述微调的领域知识，将所述未配对的图像和文本进行匹配，并通过所述原型区域表示来表示所述文本中已解析的单词，确定所述未配对的图像和文本中各单词与各图像区域表示对应的区域单词相似性分数； 基于双向相似性池化模块，将所述各单词与各图像区域表示对应的区域单词相似性分数聚合为各图像文本全局相似性分数； 所述获取微调的领域知识，包括： 获取单词图像原型区域对； 将所述单词图像原型区域对输入至所述双向区域单词循环一致学习模型中，由所述双向区域单词循环一致学习模型得到并输出所述微调的领域知识； 所述双向区域单词循环一致学习模型是基于样本单词图像原型区域对进行自监督训练得到的；所述样本单词图像原型区域对包括样本单词表示和所述样本单词表示的相关图像原型区域表示； 所述双向区域单词循环一致学习模型的训练步骤包括： 确定初始双向区域单词循环一致学习模型，并获取所述样本单词图像原型区域对； 将所述样本单词图像原型区域对输入至所述初始双向区域单词循环一致学习模型中，由所述初始双向区域单词循环一致学习模型将所述样本单词图像原型区域对中的各单词表示重构为各重构图像区域表示，以及将所述样本单词图像原型区域对中的各图像原型区域表示重构为各重构单词表示； 基于所述各单词表示与所述各重构图像区域表示，以及所述各图像原型区域表示与所述各重构单词表示，对所述初始双向区域单词循环一致学习模型进行参数迭代，得到所述双向区域单词循环一致学习模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院自动化研究所，其通讯地址为：100190 北京市海淀区中关村东路95号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。