昆明理工大学舒振球获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉昆明理工大学申请的专利一种基于在线多哈希码联合学习的跨模态检索方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115577144B 。
龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211193958.8,技术领域涉及:G06F16/901;该发明授权一种基于在线多哈希码联合学习的跨模态检索方法是由舒振球;李莉;余正涛;毛存礼;高盛祥;永凯玲;白益冰;李彬设计研发完成,并于2022-09-28向国家知识产权局提交的专利申请。
本一种基于在线多哈希码联合学习的跨模态检索方法在说明书摘要公布了:本发明公开了一种基于在线多哈希码联合学习的跨模态检索方法。包括以下步骤:获取跨模态数据集,并将数据集中的训练集分为t轮数据块来模拟流数据;构建目标函数,利用被分为t轮的训练数据集来模拟流数据对目标函数进行训练,当第t轮数据块到达时,保存前t‑1轮数据块训练得到的不同长度的哈希码不变,学习第t轮数据块不同长度的哈希码并保存,并根据第t轮数据块的实时新数据来在线更新哈希函数;进行待检索样本的跨模态检索;本发明在模型训练的过程中,只需要存储前一轮的优化结果,从而实现了在不重新训练旧数据的前提下为实时新数据生成不同长度的哈希码,增加了哈希码学习的灵活性,降低了系统的内存消耗,提高了检索效率。
本发明授权一种基于在线多哈希码联合学习的跨模态检索方法在权利要求书中公布了:1.一种基于在线多哈希码联合学习的跨模态检索方法,其特征在于:所述方法的具体步骤如下: Step1、获取跨模态数据集,将数据集中的训练集分为t轮数据块来模拟流数据;其中每轮数据块包含不同模态的样本特征及其对应的语义标签; Step2、构建目标函数学习,利用被分为t轮的训练数据集来模拟流数据对目标函数进行训练;当第t轮数据块到达时,保存前t-1轮数据块训练得到的不同长度的哈希码不变,学习第t轮数据块不同长度的哈希码并保存,并根据第t轮数据块的实时新数据来在线更新哈希函数; Step3、进行待检索样本的跨模态检索:首先得到检索集对应的哈希码,输入查询样本,根据上一步得到的哈希函数,得到查询样本的哈希码,将查询样本的哈希码代入检索集中进行查询,通过计算查询集与检索集中各样本间的汉明距离来获取查询结果; 所述Step2中,每轮数据块包括图像和文本两个模态,以及与之一一对应的标签;在第t轮训练时,带有类标签的成对的数据块被添加到训练集中;其中和分别表示维度为d1的图像特征矩阵和维度为d2的文本特征矩阵,和c分别是新的图像-文本数据块大小和类别数量;在第t轮,样本分为前t-1次累积的旧的训练样本和第t次的训练新样本;包含个样本对,其对应的标签矩阵为;因此,在t轮的总训练数据集记为,包含个数据点,它对应的总标签矩阵记为; 所述Step2中的具体步骤包括: Step2.1、多哈希码联合学习; 在统一训练模型中同时学习多个不同长度的哈希码,增加哈希长度的可伸缩性;此外,为了探索和学习哈希码,最长哈希码被用于其它不同长度的哈希码学习: ; 其中,表示矩阵的Frobenius的平方,和分别表示第t轮数据块和前t-1轮数据块的第k个哈希码,K为哈希码个数,和分别表示第t轮数据块和前t-1轮数据块的最长长度的哈希码,为投影矩阵,和分别表示和的长度,和为平衡参数; Step2.2、标签嵌入; 为了充分利用语义标签信息,将监督标签信息回归到哈希码,使学习到的哈希码保持语义标签的一致性;通过以下公式表示: ; 其中,为投影矩阵,为平衡参数; Step2.3、哈希函数学习; 通过投影矩阵直接将原始多模态数据非线性特征投影到离散的公共表示作为训练实例的统一哈希码;为了使学习到的哈希码能够保留多模态数据的一致性和特定于模态的属性,将投影矩阵分解为一致的和特定于模态的矩阵;图像和文本模态的不一致被认为是一种特殊的噪声,因此对特定于模态的投影矩阵施加基于范数的稀疏约束;哈希函数是通过线性回归问题来学习的: ; 其中和分别为一致的和特定于模态的投影矩阵;、和表示控制相应贡献项的权衡参数;是图像或文本的核特征矩阵,它旨在将原始样本映射到高维特征空间,适用于处理线性不可分问题;在这里,表示RBF核函数,m表示锚点数;因此内核特征被定义如下: ; 其中表示m个锚点;是高斯核参数; Step2.4、目标函数; 综合以上几步,其目标函数为: ; Step2.5、进行目标函数的迭代更新:通过迭代更新上一步得到的目标函数,直到目标函数收敛或达到最大迭代次数,得到哈希函数以及训练集的哈希码。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人昆明理工大学,其通讯地址为:650500 云南省昆明市呈贡区景明南路727号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励