恭喜云南师范大学王俊获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜云南师范大学申请的专利一种基于文本语义引导和自适应特征聚合的图文检索方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120030208B 。
龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510500473.6,技术领域涉及:G06F16/907;该发明授权一种基于文本语义引导和自适应特征聚合的图文检索方法是由王俊;谷亚婕;陈甘;王明杰;梅嘉恬;周菊香设计研发完成,并于2025-04-21向国家知识产权局提交的专利申请。
本一种基于文本语义引导和自适应特征聚合的图文检索方法在说明书摘要公布了:本发明涉及一种基于文本语义引导和自适应特征聚合的图文检索方法,属于计算机视觉、图像处理、自然语言处理等相关领域。该方法通过识别图像中与文本描述最为相关的图像块,采用硬化分的方法降低图像块的冗余度,突出关键的细粒度特征并过滤不必要的冗余信息,使图像特征表示更加紧凑,实现有效的特征净化。其次,基于净化后的图像特征,在图像文本匹配前引入自适应聚合策略,在单模态特征的每个维度上选择最具代表性特征进行聚合,实现更高效准确的图文检索。本发明通过优化图像特征的冗余过滤和跨模态对齐,有效解决了当前传统检索方法中不同模态之间的语义鸿沟以及准确率低的问题,更好地满足用户对跨模态图文检索的实际需求。
本发明授权一种基于文本语义引导和自适应特征聚合的图文检索方法在权利要求书中公布了:1.一种基于文本语义引导和自适应特征聚合的图文检索方法,其特征在于,所述方法的具体步骤如下:Step1:提取图像和文本的特征;Step2:对提取的图像特征进行增强;Step3:对增强后的图像特征计算图像模态内和图像文本模态间的显著性分数,获得净化后的图像特征;Step4:基于净化后的图像特征,引入自适应聚合特征方法获得包含了图像与文本各自模态内的关键信息的全局特征向量;Step5:基于得到的全局特征向量,计算图像特征和文本特征之间的相似度,完成图文检索;所述Step2的具体步骤为:采用如下公式进行图像特征的增强: ; ;其中,是生成的注意力权重,mlp表示将经过maxpooling最大池化和avgpooling平均池化的特征送入多层感知机中,表示将输出限制在0,1范围内,是增强后的图像块特征,然后与原始特征R相加后获得图像块嵌入;所述Step3的具体步骤为:Step3.1:将图像块的特征表示与文本序列的嵌入向量进行交互,通过交叉注意力为每个图像块生成一个与文本相关的显著性分数;Step3.2:基于图像内部各元素之间的相互作用,通过自注意力机制揭示图像内部的显著性特征,计算每个图像块相对于其他图像块的显著性分数;Step3.3:通过引入权重参数将图像文本模态间和图像模态内的显著性分数进行加权融合,得出一个综合的显著性得分;Step3.4:将得到的综合的显著性得分转化为一个二进制决策矩阵,定义一个选择比率γ,决定在N个图像块中,得分最高的前个图像块将被选择,此时对应决策矩阵元素为1,而其余的图像块则不被选择,此时对应决策矩阵元素为0;Step3.5:将二进制决策矩阵,作为掩码作用于原始特征R,通过保留所有对应的特征行,得到最终净化后的图像特征,其中表示为净化后的图像块特征向量;所述Step4的具体步骤为:采用如下公式进行特征的聚合: ; ;其中,和分别是图像和文本在维度j上的特征值,是选择每个维度上最大特征值的函数,是图像或者文本的最终全局特征表示,表示每个特征维度上的特征值。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人云南师范大学,其通讯地址为:650500 云南省昆明市呈贡区聚贤街768号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。