买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国航空综合技术研究所申请的专利基于多模态预训练模型的民航领域图文检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116662630B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310400120.X，技术领域涉及：G06F16/953；该发明授权基于多模态预训练模型的民航领域图文检索方法是由何柳;安然;陶剑;刘姝妍;卓雨东;李润岐;武铎;刘俊;高龙;董洪飞设计研发完成，并于2023-04-14向国家知识产权局提交的专利申请。

本基于多模态预训练模型的民航领域图文检索方法在说明书摘要公布了：本发明提供一种基于多模态预训练模型的民航领域图文检索方法，其包括收集图片‑文本对和图片‑标签对两类多模态信息，构建民航领域多模态数据集；借助自监督的mean‑shift聚类方法对数据集进行清洗，构建民航领域的高质量多模态数据集；采用无参考评价方法，评价数据集中图片的质量，删除评价低的图片；基于通过冻结训练方法调整的BriVL模型，进行以问搜图任务。本发明通过利用mean‑shift聚类方法以及无参考的图像质量评估方法构建了民航领域的高质量多模态数据集，借助该数据集采用冻结训练的方法对BriVL进行调整，缩短了模型训练时间，在用于测试的民航领域多模态数据集上的以文搜图任务上，调整后的BriVL达到优良的召回率。

本发明授权基于多模态预训练模型的民航领域图文检索方法在权利要求书中公布了：1.一种基于多模态预训练模型的民航领域图文检索方法，其特征在于：其包括以下步骤： S1、收集第一类训练数据和第二类训练数据的多模态信息，构建民航领域多模态数据集； S11、收集第一类训练数据，从carnoc民航资源网以及开源的Wukong数据集中收集图片文本对，构成第一类训练数据，用于对BriVL预训练模型进行全连接层的调整； S12、收集第二类训练数据； S121、对标签层次结构进行划分；根据实际应用场景以及标签内在逻辑关系，将标签划分为三级标签结构，并将标签分为五个类型标签； S122、从互联网获取每一类型标签多张图片，并且针对复合标签获取多张图片，共同构成第二类训练数据集，第二类训练数据集包括所述图片-标签对数据； S2、数据清洗； S21、清理缺失值图片，去除内容为空的图片、长度小于第一阈值的文本对应的图文对以及出现共计第二阈值以上的冗余文本； S22、借助自监督的mean-shift聚类方法判断第二类训练数据集中图片-标签对数据是否匹配； S221、在没有标记的数据点里面，随机地选取一个数据点作为中心center； S222、将所有到中心center的距离小于r的点标记，记录为集合M，假设集合M中的x个点全部属于簇c，则对簇c的计数增加x个； S223、计算以中心center为起点的，到M中的每个元素的向量，把所有的向量全部相加，从而得到移动向量shift，将中心center与移动向量shift相加得到新的中心center； S224、重复步骤S222与步骤S223，直到移动向量shift的模长收敛到预设阈值以下，记录下此时中心center的值，将这个过程中遇到的所有元素全部归类于簇c，并增加簇c的计数； S225、若此时的中心center与某个已存在簇c’的中心center之间的距离小于预设阈值，则将簇c与已存在簇c’合并，并将所有M中的元素增加到已存在簇c’中； S226、重复步骤S221～S225,直到所有的数据点都已标记至少一次； S3、评价图片质量，删除低质量图片； S4、基于BriVL模型，进行以问搜图任务； S41、利用联合数据集，通过冻结训练方法对BriVL模型进行调整，使用获取的数据对两个编码器中的MLP层进行重新训练，以使其贴合民航领域图文对特征； S42、通过调整后的BriVL模型，计算图文相似度值； S421、将文本通过Word2Vec编码计算词特征，在训练过程中保持Word2Vec模型参数不变，用CNN对图片进行编码，同样保持训练过程中CNN网络参数不更新； S422、采用参数能学习的MLP层将Word2Vec得到的文字向量与CNN得到的图向量映射到同一语义空间； S423、对图片-文本对两两计算余弦相似度作为图文对的相似度值； S43、将所有图片按照与其的图文对的相似度值从大到小排序，从而使得排序越靠前，则图片搜索结果的推荐度越高。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国航空综合技术研究所，其通讯地址为：100028 北京市朝阳区东直门外京顺路7号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。