齐鲁工业大学(山东省科学院)赵晶获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉齐鲁工业大学(山东省科学院)申请的专利一种半监督多模态实体对齐方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120124632B 。
龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510596489.1,技术领域涉及:G06F40/295;该发明授权一种半监督多模态实体对齐方法是由赵晶;卢凯;丁里超;郝增昊设计研发完成,并于2025-05-09向国家知识产权局提交的专利申请。
本一种半监督多模态实体对齐方法在说明书摘要公布了:本发明公开一种半监督多模态实体对齐方法,涉及知识图谱技术领域,其特征在于,包括以下步骤:S1:多模态实体对齐任务的符号定义;S2:构造半监督多模态实体对齐模型;S21:多模态知识特征嵌入模块通过异构编码器提取异构特征;S22:跨模态融合模块利用交叉注意力机制建模模态间互补性与相关性,生成联合表示;S23:伪标签生成与动量对比学习模块基于图标签传播筛选高置信度伪标签,并结合动量队列增强对比学习稳定性。本发明本发明要解决的技术问题是提供一种半监督多模态实体对齐方法,多模态实体对齐旨在识别并连接不同多模态知识图谱中表示相同实体的信息。
本发明授权一种半监督多模态实体对齐方法在权利要求书中公布了:1.一种半监督多模态实体对齐方法,其特征在于,包括以下步骤: S1:多模态实体对齐任务的符号定义; S2:构造半监督多模态实体对齐模型; S21:多模态知识特征嵌入模块通过异构编码器提取异构特征; S22:跨模态融合模块利用交叉注意力机制建模模态间互补性与相关性,生成联合表示; S23:伪标签生成与动量对比学习模块基于图标签传播筛选高置信度伪标签,并结合动量队列增强对比学习稳定性; 所述S1的具体步骤为: 多模态知识图谱被定义为:,其中:分别代表实体,关系,属性和视觉; 给定两个多模态知识图谱:源知识图谱和目标知识图谱,跨两个多模态知识图谱的对齐种子集被定义为:,其中:表示和是指代同一现实世界对象的等价实体; 所述S21的具体步骤为: S211:结构嵌入; 采用图注意力网络对和的结构信息进行建模,有效地提取了局部和全局特征,具体来说,利用两层图注意力网络来聚合多跳邻居信息,最后一层的输出被用作最终的结构嵌入: (1) 其中:和是可学习的参数; 表示通过GAT获得的嵌入; 表示实体在知识图谱中的局部结构子图; S212:关系和属性嵌入; 使用词袋模型将关系的文本表示转换为特征向量,然后将这些特征向量输入到前馈层,以得到关系的嵌入: (2); 其中:表示可学习参数; FN m表示的是一个模态m特定的前馈神经网络; r和a分别表示关系和属性模态; BOW(m)表示通过BOW模型获得的关系或属性特征; S213:视觉嵌入; 对于每个实体对应的图像,将其输入视觉模型,提取模型的输出特征,并通过前馈层进一步处理这些特征,以获得精细化的视觉嵌入: (3); 其中:表示可学习参数; FN v表示的是一个前馈神经网络; 表示通过VGG16模型获得的视觉特征。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人齐鲁工业大学(山东省科学院),其通讯地址为:250300 山东省济南市长清区大学路3501号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。