桂林电子科技大学强保华获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉桂林电子科技大学申请的专利基于空间预测型VLPM的跨模态图文检索方法及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118708675B 。
龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410742517.1,技术领域涉及:G06F16/334;该发明授权基于空间预测型VLPM的跨模态图文检索方法及存储介质是由强保华;陈锐东;徐正丽;吕昊;谢元;张世豪设计研发完成,并于2024-06-11向国家知识产权局提交的专利申请。
本基于空间预测型VLPM的跨模态图文检索方法及存储介质在说明书摘要公布了:本发明公开了一种基于空间预测型视觉语言预训练模型的跨模态图文检索方法及存储介质,所述方法通过将局部语义预测视觉空间位置引入到视觉语言预训练模型中,使预训练模型能够学习到更有效的高级语义,有效提升下游跨模态图文检索任务的性能;利用基于空间预测型视觉语言预训练模型对下游图文检索数据进行特征提取,构建四元组损失函数并执行有监督跨模态图文检索;利用四元组构造模块挖掘与正样本具有强语义关联假负例样本,减少了假负例样本对图文检索的影响。
本发明授权基于空间预测型VLPM的跨模态图文检索方法及存储介质在权利要求书中公布了:1.基于空间预测型VLPM的跨模态图文检索方法,其特征在于,所述方法包括: 获取多组图文配对的预训练样本,其中包括预训练图像和用于描述预训练图像的预训练文本; 利用所述预训练样本对空间预测型视觉语言预训练模型进行训练; 获取多组用于图文检索的训练样本,利用训练完成的空间预测型视觉语言预训练模型对图文检索的训练样本进行特征提取; 利用四元组构造模块对图文检索的训练样本构建四元组,包括样本、正例集、假负例集和负例集; 构建四元组损失函数对跨模态图文检索模型进行监督训练; 将待检索的图像或者文本输入到训练完成的跨模态图文检索模型中,获得相应的检索结果; 所述空间预测型视觉语言预训练模型的训练方法包括以下步骤: 1利用局部信息抽取模块对预训练样本进行局部信息抽取,并使用第一特征提取器获得局部文本特征t; 2将所述预训练图像裁剪成n×n块,n为正整数,并使用第二特征提取器分别获取图像块特征xi;i∈[0,n2-1]; 3计算所述局部文本特征t和所述图像块特征xi的余弦相似性ci,获取余弦相似度最高的前K个图像块; 4分别计算所述局部文本特征t和所述前K个图像块的重叠面积的比例mi; 5计算第i块图像对应的余弦相似度ci和重叠面积比例mi的距离; 6使用空间距离损失函数约束局部文本特征匹配到的图像块位置信息具有高相似性,完成空间预测型视觉语言预训练模型的训练。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人桂林电子科技大学,其通讯地址为:541004 广西壮族自治区桂林市七星区金鸡路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励