山东财经大学刘峥获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东财经大学申请的专利一种融合多粒度数据和近邻数据的跨媒体检索方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN113946698B 。
龙图腾网通过国家知识产权局官网在2025-12-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111219877.6,技术领域涉及:G06F16/38;该发明授权一种融合多粒度数据和近邻数据的跨媒体检索方法及系统是由刘峥;高珊珊;韩慧健;迟静;苏宜俊;裴新蕾;袁韶璟设计研发完成,并于2021-10-20向国家知识产权局提交的专利申请。
本一种融合多粒度数据和近邻数据的跨媒体检索方法及系统在说明书摘要公布了:本发明公开了一种融合多粒度数据和近邻数据的跨媒体检索方法及系统,包括以下步骤:分别提取图像数据和文本数据的粗粒度特征和细粒度特征,利用阶梯式三元组损失函数分别计算获得相应的粗粒度层相似度和细粒度层相似度;分别提取图像数据的近邻层图像特征和文本数据的近邻层文本特征,计算获得图像数据和文本数据的近邻层相似度;将粗粒度层和细粒度层的语义类别约束和近邻层的近邻关系约束进行融合,求得融合多粒度数据和近邻数据的跨媒体相似度。本发明利用改进的阶梯式三元组损失函数和注意力机制,分别计算异构模态数据在粗粒度层、细粒度层和近邻层上的相似度,求得融合多粒度数据和近邻数据的跨媒体相似度,提高跨媒体相似度度量的精度。
本发明授权一种融合多粒度数据和近邻数据的跨媒体检索方法及系统在权利要求书中公布了:1.一种融合多粒度数据和近邻数据的跨媒体检索方法,其特征在于,包括以下步骤: 分别提取图像数据和文本数据的粗粒度特征,利用阶梯式三元组损失函数计算获得图像数据和文本数据的粗粒度层相似度; 分别提取图像数据和文本数据的细粒度特征,利用阶梯式三元组损失函数计算获得图像数据和文本数据的细粒度层相似度; 所述提取图像数据和文本数据的细粒度特征是指,将整幅图像均匀分成若干块后,提取每个图像块的特征作为图像数据的细粒度特征;将文本数据中的全部词语输入GRU中,采用注意力机制,计算图像块对词语的细粒度注意力权重,筛选出注意力权重大于设定阈值的词语,将筛选出的词语的特征作为文本数据的细粒度特征; 所述阶梯式三元组损失函数是指,对传统的三元组损失函数进行改进,根据负例样本与查询样本的相似度,设定多个阈值将相似度划分为多个等级,将负例样本以不同幅度推离查询样本; 其中,,,分别为粗粒度层第一阶梯损失,粗粒层第二阶梯损失和粗粒度层第三阶梯损失; 其中,,和分别表示,,的权值,并且满足;和分别表示从到的并集以及从到的并集;,,,表示不相交子集的相似度间隔量;代表被间隔量推离查询样本的数据集合;的样本被以的距离推离查询样本; 分别提取图像数据的近邻层图像特征和文本数据的近邻层文本特征,计算获得近邻图像相似度和近邻文本相似度,将两者进行线性加权得到图像数据和文本数据的近邻层相似度; 所述近邻图像相似度的计算步骤包括:获取测试图像的近邻图像以及与近邻图像相匹配的文本后,利用注意力机制求得每一近邻图像的注意力权重,利用学习后的注意力权重对与近邻图像相匹配的文本进行加权处理,计算加权后的文本与测试文本之间的相似度之和,以此作为测试图像的近邻图像相似度; 将粗粒度层和细粒度层的语义类别约束和近邻层的近邻关系约束进行融合,求得融合多粒度数据和近邻数据的跨媒体相似度;图像和句子的跨媒体相似度计算方法如下: 其中,表示粗粒度层相似度,表示细粒度层相似度,表示近邻层相似度;和表示粗粒度层的图像和句子;和表示细粒度层的图像和句子;和表示近邻层图像和句子;,,表示三类相似度的权重。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东财经大学,其通讯地址为:250014 山东省济南市历下区二环东路7366号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励