大连理工大学钟芳明获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉大连理工大学申请的专利一种基于概念分解的混合超图正则化半监督跨模态哈希方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115878757B 。
龙图腾网通过国家知识产权局官网在2026-02-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211588964.3,技术领域涉及:G06F16/334;该发明授权一种基于概念分解的混合超图正则化半监督跨模态哈希方法是由钟芳明;张素华;陈志奎设计研发完成,并于2022-12-09向国家知识产权局提交的专利申请。
本一种基于概念分解的混合超图正则化半监督跨模态哈希方法在说明书摘要公布了:本发明提供一种基于概念分解的混合超图正则化半监督跨模态哈希方法,属于计算机技术领域。本发明是解决跨模态检索中存在大量无标签数据的训练问题,充分挖掘有标签和无标签数据间的混合超图高阶关系,提高模型检索能力,步骤包括:基于概念分的解公共语义表示学习、跨模态混合超图构建、有标签数据的分类损失度量、总体目标函数构建及其优化、以及学习量化旋转矩阵和跨模态哈希函数,最终通过哈希函数将跨模态数据转化为二进制的哈希编码进行跨模态交叉检索。本发明能够有效利用无标签数据进行半监督跨模态哈希检索。
本发明授权一种基于概念分解的混合超图正则化半监督跨模态哈希方法在权利要求书中公布了:1.一种基于概念分解的混合超图正则化半监督跨模态哈希方法,其特征在于,所述的概念分解为公共语义表示学习模块;所述的混合超图正则化,融合图像模态和文本模态的超图进行正则化约束学习公共语义表示;所述的半监督跨模态哈希方法指既包含有标签数据,也包含无标签数据;具体包括以下步骤: 步骤1、公共语义表示学习,基于概念分解,学习跨模态数据的内在语义表示; 令表示图像模态数据特征,表示文本模态数据特征,每一个模态里面包含n个样本,其中l个有标签;图像特征维度为,即,文本特征维度为,;给定有标签数据的标签,表示数据类别的数量;标签向量采用0、1表示,当时,表示第j个样本属于第i类,否则如果不属于,则; 提出基于概念分解的方法,学习跨模态数据的内在语义信息,其中跨模态数据中既包含有标签数据,也包含无标签数据;概念分解允许输入数据包含负数;设为两个模态的公共语义表示,其中k为表示空间的维度;为了松弛公共语义表示,采用两个表示尽可能相似,而不是约束到一个公共的表示;因此,概念分解的目标函数如公式1所示: 1; 其中,表示关联矩阵,记录数据的概念,为模态权重参数,表示弗罗贝尼乌斯范数;再加上对于公共语义表示的尽可能靠近,形成如公式2所示的目标函数, 2; 步骤2,构建跨模态混合超图,混合不同模态数据,构建混合超图; 提出混合超图正则化约束,利用超图能够建模多个样本之间的邻接关系,建立模态内的高阶局部关系保持;同时,通过混合超图构建,融合两种模态间的高阶关系,以引导公共语义表示学习,提高判别性;即跨模态混合超图能够融合模态内和模态间的高阶语义关系; 步骤3、有标签数据分类损失度量,对有标签数据,最小化分类标签预测损失; 对有标签数据,最小化其分类标签预测损失,目标函数如公式5所示, 5; 其中,,表示超参数参数,是投影矩阵,表示选择矩阵,而无标签数据没有标签,因此只对有标签数据进行分类损失度量; 步骤4、总体目标函数构建及其优化,结合前面步骤形成总体目标函数; 结合前面步骤的公式1245,形成总体目标函数,对相关变量进行优化,如公式6所示, 6; 对目标函数进行优化,直到收敛;最后将公共语义子空间对图像模态和文本模态的进行加权平均,得到最终的潜在语义子空间,如公式7所示; 7; 步骤5、量化旋转矩阵学习,通过公共语义表示,学习正交旋转矩阵,减少量化损失; 将公共语义空间转化为二进制表示的哈希编码;通过学习一个正交的旋转矩阵来获得哈希编码,形成目标函数如公式8所示; 8; 其中,表示哈希编码,表示旋转矩阵,表示单位阵;公式8是典型的OrthogonalProcrustes问题,其中可以通过奇异值分解来获得,类似的,采用迭代优化以获得最优解; 步骤6、学习跨模态投影矩阵,构建哈希函数; 最后,通过公共语义表示学习量化的正交旋转矩阵,为了能够使查询的图像或者文本数据快速转化为二进制编码,还需要学习图像模态和文本模态的哈希函数,直接将原始特征投影到汉明空间中;因此,针对图像模态数据和文本模态数据,构建如公式9所示的目标函数; 9; 其中,,表示投影矩阵;通过交替迭代优化之后,可求得,如公式10和公式11所示结果; 10; 11; 最后对于图像模态数据,获取哈希编码如公式12所示: 12; 对于文本模态数据获取哈希编码如公式13所示: 13; 学习哈希函数后,能够获得新的查询图像或者查询文本的哈希编码,进而从数据库中计算与查询图片哈希编码最相近的文本哈希编码实现图像检索文本,或者从数据库中计算与查询文本哈希编码最相近的图像哈希编码,实现文本检索图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连理工大学,其通讯地址为:116024 辽宁省大连市甘井子区凌工路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励