买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉齐鲁工业大学(山东省科学院)申请的专利基于模态间交互的多模态知识图谱实体对齐方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116932770B 。

龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310699235.3，技术领域涉及：G06F16/36；该发明授权基于模态间交互的多模态知识图谱实体对齐方法及系统是由孙涛;张子豪;张祥;尹新艳设计研发完成，并于2023-06-13向国家知识产权局提交的专利申请。

本基于模态间交互的多模态知识图谱实体对齐方法及系统在说明书摘要公布了：本公开提供了基于模态间交互的多模态知识图谱实体对齐方法及系统，涉及多模态知识图谱技术领域，包括获取知识图谱中待对齐的不同模态的实体数据；提取实体数据的结构信息特征、视觉信息特征、关系信息特征以及属性信息特征；将获取的各个单模态特征利用低秩多模态融合方法建模模态间的相互作用，再使用跨模态注意力机制使单模态特征并行地向低秩融合模态学习模态间的相互作用，生成实体整体特征表示；利用不同单模态特征和实体整体特征表示进行相似度对比学习，更新实体整体特征表示；通过更新后的实体整体特征表示进行两两相似度计算，选择相似度最高的两个实体进行实体对齐。本公开能够捕获实体多模态信息之间的相互作用。

本发明授权基于模态间交互的多模态知识图谱实体对齐方法及系统在权利要求书中公布了：1.基于模态间交互的多模态知识图谱实体对齐方法，其特征在于，包括： 获取知识图谱中待对齐的不同模态的实体数据； 针对待对齐的不同模态的实体数据，利用GAT网络提取实体数据的结构信息特征，选用VGG16网络提取实体数据的视觉信息特征，利用词袋模型连接前馈网络分别编码提取实体数据的关系信息特征以及属性信息特征； 将获取的结构信息、视觉信息、关系信息以及属性信息各个单模态特征利用低秩多模态融合方法建模模态间的相互作用，再使用跨模态注意力机制使单模态特征并行地向低秩融合模态学习模态间的相互作用，生成实体整体特征表示；利用不同单模态特征和实体整体特征表示进行相似度对比学习，更新实体整体特征表示；通过更新后的实体整体特征表示进行两两相似度计算，选择相似度最高的两个实体进行实体对齐； 其中，将多模态编码器提取得到实体单模态特征通过低秩多模态融合方法融合得到一个特征表示，在每一个跨模态注意力模块中，设置相应的单模态的特征表示以及低秩融合的特征表示； 每个单模态的特征表示在输入到跨模态注意力模块前都需要通过一个全连接层调整特征维度；在经过跨模态注意力模块增强后的特征表示，再通过残差连接和归一化层输出之后进行模态加权拼接，生成实体整体特征表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人齐鲁工业大学(山东省科学院)，其通讯地址为：250353 山东省济南市长清区大学路3501号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。