买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京航空航天大学;北京遥感设备研究所申请的专利一种基于数据增强的多模态知识图谱融合方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118966339B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411071279.2，技术领域涉及：G06N5/022；该发明授权一种基于数据增强的多模态知识图谱融合方法、系统、设备及介质是由牛广林;于沐尧设计研发完成，并于2024-08-06向国家知识产权局提交的专利申请。

本一种基于数据增强的多模态知识图谱融合方法、系统、设备及介质在说明书摘要公布了：本发明公开了一种基于数据增强的多模态知识图谱融合方法、系统、设备及介质，方法包括对实体相关的图像和文本描述进行多模态数据增强；基于增强后的实体多模态数据，使用多模态预训练模型CLIP分别提取每个实体的视觉特征和文本特征；设计多模态特征引导的知识扩充模块，挖掘不同实体间的多模态特征相似性和相同属性信息的关联，进而实现多模态特征增强的实体语义扩充；基于扩充后的知识图谱通过图神经网络聚合实体邻居的多模态特征，以学习实体的结构特征；融合实体的多模态特征和结构特征，完成多模态知识图谱融合。本发明充分利用多模态知识图谱中的多模态数据和语义信息，有助于实现来自多个数据源的多模态知识图谱的有效融合。

本发明授权一种基于数据增强的多模态知识图谱融合方法、系统、设备及介质在权利要求书中公布了：1.一种基于数据增强的多模态知识图谱融合方法，其特征在于，具体步骤如下： 步骤1：对实体的图像和实体的文本描述进行实体多模态数据增强； 步骤2：基于增强后的实体多模态数据，通过多模态预训练模型CLIP分别提取每个实体的视觉特征和文本特征； 步骤3：设计多模态特征引导的知识扩充模块，并基于视觉特征和文本特征挖掘不同实体间的多模态特征相似性和相同属性信息的关联，进而实现多模态特征增强的实体语义扩充，得到扩充后的知识图谱；设计多模态特征引导的知识扩充模块，所述步骤3中通过DBSCAN算法对实体的视觉特征和文本特征分别进行聚类，在每个聚类簇中计算不同实体间的视觉特征相似度矩阵和文本特征相似度矩阵，针对每个属性分别统计视觉特征相似度高于阈值THv且具有相同属性值的视觉特征共现实体对数量#evi，文本特征相似度高于阈值THt且具有相同属性值的文本特征共现实体对数量#eti，并针对每个属性分别统计视觉特征相似度高于阈值THv的实体对数量#EVi和文本特征相似度高于阈值THt的实体对数量#ETi； 计算属性对应的特征相似性共现置信度： 其中，Confv表示第i个属性的视觉特征相似性共现置信度，Conft表示第i个属性的文本特征相似性共现置信度，#evi和#eti分别表示第i个属性的视觉特征共现实体对数量和第i个属性的文本特征共现实体对数量，#EVi和#ETi分别表示第i个属性视觉特征相似度高于阈值的实体对数量和第i个属性文本特征相似度高于阈值的实体对数量； 根据视觉特征相似性和属性的共现模式，该模式表示如果属性p的视觉特征相似性共现置信度Confv高于阈值TCv，对于两个视觉特征相似度高于阈值Tv的实体e1和实体e2，实体e1具有包含属性p的三元组e1,p,t，这时，基于特征相似性和属性的共现模式，为实体e2补全三元组e2,p,t；根据文本特征相似度和属性共现模式，该模式表示如果属性p的文本特征相似性共现置信度Conft高于阈值TCt，对于两个文本特征相似度高于阈值Tt的实体e1和实体e2，实体e1具有包含属性p的三元组e1,p,t，这时，基于特征相似性和属性的共现模式，为实体e2补全三元组e2,p,t，实现多模态特征引导的实体语义扩充，得到扩充后的知识图谱； 步骤4：基于扩充后的知识图谱通过图神经网络聚合实体邻居的多模态特征，得到融合了多模态信息的实体结构特征； 步骤5：融合包含实体的视觉特征和文本特征的实体多模态特征和实体结构特征，进行实体对齐，完成多模态知识图谱融合。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京航空航天大学;北京遥感设备研究所，其通讯地址为：100190 北京市海淀区学院路37号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。