合肥工业大学徐田园获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉合肥工业大学申请的专利基于子空间适应性间距的跨模态检索方法及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114691986B 。
龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210277795.5,技术领域涉及:G06F16/9535;该发明授权基于子空间适应性间距的跨模态检索方法及存储介质是由徐田园;刘学亮;洪日昌;汪萌;楚喻棋设计研发完成,并于2022-03-21向国家知识产权局提交的专利申请。
本基于子空间适应性间距的跨模态检索方法及存储介质在说明书摘要公布了:本发明的一种基于子空间适应性间距的跨模态检索方法及存储介质,包括以下步骤,数据预处理,进行训练集测试集数据划分,并提取数据的原始高维特征;输入原始高维特征到网络模型获取图像文本的公共特征和对应的预测标签信息;使用公共特征和标签信息计算每种模态不同类别样本的适应性间距损失,然后结合注意力机制聚焦图片和文本中类别信息用于增强不同类别的判别性,最后计算不同模态之间的不变性损失;再通过反向传播对损失函数进行优化去迭代网络模型至收敛;使用收敛的网络模型计算所有图像文本的公共特征;最后对查询数据特征与公共特征进行相似度计算并排序返回结果。采用本发明进行跨模态检索的精度高于现有方法进行跨模态检索的精度。
本发明授权基于子空间适应性间距的跨模态检索方法及存储介质在权利要求书中公布了:1.一种基于子空间适应性间距的跨模态检索方法,其特征在于,包括以下步骤, 步骤一、数据预处理,进行训练集测试集数据划分,并提取数据的原始高维特征; 步骤二、输入原始高维特征进入网络模型获取模型输出的图像和文本的公共特征以及对应的预测标签信息,从而得到子空间文本与图像特征; 步骤三、使用公共特征和标签信息计算每种模态中不同类别样本的适应性间距损失,结合注意力机制聚焦图片和文本中类别信息用于增强不同类别的判别性,以及计算不同模态样本之间的不变性损失; 步骤四、再通过反向传播对损失函数进行优化去迭代网络模型直到模型收敛为止; 步骤五、使用收敛后的网络模型计算所有图像和文本的公共特征; 步骤六、最后对查询数据特征与公共特征进行相似度计算并排序返回结果; 其中步骤三具体为: S4、对步骤S2中得到的子空间文本与图像特征,假设有一个文本特征vi和图像特征ki,那么计算出vi与其属于相同类别文本的相似度同理计算出处 和其中是余弦函数; S5、对于步骤S2中的子空间图像特征qi,计算出与之相同类别子空间文本特征相似度不同类别子空间文本特征相似度同理计算结合适应性间距函数构建文本到图像以及图像到文本三元损失函数 S6、对于每一对图像文本对经过步骤S2得到与之对应的子空间图像与文本特征qi,si,计算同一对图像文本对的相似性以及不成对的图像文本之间的相似性采用三元组损失约束与之间相似性距离 S7、对于步骤S3预测的标签,使用F范数约束图像预测标签Pm与真实标签Y和文本预测标签Pt与真实标签Y的距离同时使用三元组损失增强图像、文本类别预测的准确性 S8、所述注意力机制由文本自注意机制与图像自注意机制构成,其中对于文本自注意机制原始输入S经过一个由三个ReLU激活函数的2048维线性层分别映射到查询空间Q,键空间K和值空间V,然后采用比例缩放的点积注意机制公式fQ,K,V计算图像注意力特征M和文本注意力特征N,结合适应性间距函数构建文本到图像以及图像到文本三元损失函数 其中,联合和得到总的目标损失函数并对损失函数进行优化与模型训练,得到子空间深度网络参数wr,损失函数如下: 其中,λ1、λ2、λ3和λ4为超参数,为文本到图像以及图像到文本三元损失函数,为相似性距离损失,为图像预测标签与真实标签和文本预测标签与真实标签的距离,为用于增强图像、文本类别预测准确性的三元组损失,为基于注意力机制的文本到图像以及图像到文本三元损失函数; 其中,如下:
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人合肥工业大学,其通讯地址为:230009 安徽省合肥市包河区屯溪路193号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。