买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京理工大学申请的专利基于融合多模态信息的实体和关系表示的链接预测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116680343B 。

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310641906.0，技术领域涉及：G06F16/28；该发明授权基于融合多模态信息的实体和关系表示的链接预测方法是由田紫暄;金福生;徐源;袁野;王国仁设计研发完成，并于2023-06-01向国家知识产权局提交的专利申请。

本基于融合多模态信息的实体和关系表示的链接预测方法在说明书摘要公布了：本发明涉及知识图谱知识推理技术领域，具体涉及一种基于融合多模态信息的实体和关系表示的链接预测方法，包括：收集与所要构建知识图谱主题相关的图像数据、文本数据和三元组数据；将预处理后的三元组数据进行知识抽取和实体对齐；对图像数据进行特征提取，生成视觉表示；对文本数据和三元组数据进行特征提取，生成文本表示；将生成的视觉表示、文本表示和三元组数据共同作为输入，对融合模块进行训练，学习包含多模态信息的实体和关系向量表示；通过解码部分对融合模块学习到的特征表示进行解码并进行链接预测，输出预测为正三元组的概率。本发明可提高链接预测任务的准确率，并能提高多模态知识表示学习的可解释性。

本发明授权基于融合多模态信息的实体和关系表示的链接预测方法在权利要求书中公布了：1.一种基于融合多模态信息的实体和关系表示的链接预测方法，其特征在于，包括以下步骤： 收集与所要构建知识图谱主题相关的多模态数据，进行预处理；所述多模态数据包括图像数据、文本数据和三元组数据； 将预处理后的三元组数据进行实体识别、关系抽取和属性抽取，并将与三元组中实体相关的图像数据和文本数据与之对齐； 通过视觉模块对图像数据进行单模态特征提取，学习图像数据中与实体相关的关键特征，生成视觉表示； 通过文本模块对文本数据和三元组数据进行单模态特征提取，生成能够反映语义信息的文本表示； 将生成的视觉表示、文本表示和三元组数据共同作为输入，对融合模块进行训练，学习包含多模态信息的实体和关系向量表示； 通过解码部分对融合模块学习到的特征表示进行解码并进行链接预测，输出预测为正三元组的概率； 所述视觉模块包括输入、择优模块和视觉编码器；通过视觉模块对图像数据进行特征提取的过程为： 将同一实体对应的多个图像数据作为输入，送入所述择优模块，得到最优的一张图像数据，并将该最优图像数据划分为小尺寸的块作为所述视觉编码器的输入，通过所述视觉编码器输出视觉表示； 在所述择优模块中，通过相似度计算和清晰度评价两个步骤筛选掉无关图像和低质量图像，保留一张相对最优的图像作为后续输入；具体包括： 采用感知哈希算法对同一实体对应的多张图像进行相似度计算，通过计算汉明距离得到图像之间的相似度，筛选掉相似度过高的图像和无关图像； 采用灰度差分绝对值之和函数进行清晰度评价，通过对图像水平和垂直方向的相邻像素做差分，取绝对值后进行累加，以该累加值作为图像清晰度的表征，筛选出清晰度最优的图像，将该图像划分为小尺寸的块作为所述视觉编码器的输入向量； 所述视觉编码器采用Transformer架构中的编码器结构，具体编码过程为： 输入向量先通过多头注意力层和残差连接与层操作，再通过前馈神经网络和残差连接与层归一化操作，得到视觉表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。