买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学(深圳)高等研究院申请的专利一种基于图神经网络的多模态知识图谱表示学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114443858B 。

龙图腾网通过国家知识产权局官网在2026-01-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210065665.5，技术领域涉及：G06N5/022；该发明授权一种基于图神经网络的多模态知识图谱表示学习方法是由邵杰;梁爽;杨晨旭设计研发完成，并于2022-01-20向国家知识产权局提交的专利申请。

本一种基于图神经网络的多模态知识图谱表示学习方法在说明书摘要公布了：本发明公开了一种基于图神经网络的多模态知识图谱表示学习方法，其包括获取多模态文本特征、视觉特征和数值特征并转换成超点；从超点中确认目标节点超点，及其邻居节点超点；计算得到邻居节点超点相对于目标节点超点的关系注意力；将目标节点和邻居节点之间的边作为邻边，通过互相关方式融合邻居节点和邻边，得到实体关系融合信息；通过关系注意力和实体关系融合信息构建关系聚合函数；基于关系聚合函数更新超点和关系注意力，直到得到收敛的关系图神经网络模型，完成多模态知识图谱表示学习；本发明有效建模具有多模态信息的不同实体同一模态内和不同模态间的信息交互；以灵活的形式处理不同实体不同数量的模态；实现了更优的图表示学习能力。

本发明授权一种基于图神经网络的多模态知识图谱表示学习方法在权利要求书中公布了：1.一种基于图神经网络的多模态知识图谱表示学习方法，其特征在于，包括以下步骤： S1、获取多模态知识图谱的模态信息，并通过预训练编码器学习模态信息，得到文本特征、视觉特征和数值特征； 模态信息包括文本信息、视觉信息和数值信息； 预训练编码器包括用于获取文本特征和数值特征的BERT模型和两个全连接层，BERT模型包括12个Transformer层，每个Transformer层包括768个隐藏神经元和12个多头自注意单元；通过BERT模型将文本信息换成初始文本特征，通过第一全连接层将数值信息转换成数字信息，并通过第二全连接层将初始文本特征和数字信息进行映射处理，得到包含数值特征的768维文本特征； 预训练编码器包括用于获取视觉特征的VGG-16卷积神经网络模型，VGG-16卷积神经网络模型包括一个特征模块和一个分类模块，特征模块包括13层的3*3卷积核神经网络，分类模块包括2个全连接层；输入为224*224的RGB图像，得到4096维视觉特征； S2、将文本特征、视觉特征和数值特征转换成超点； 超点的表达式为： 其中为第m个超点，为第m个文本特征，为第m个视觉特征，为第m个数值特征，为第m个文本特征的第i个低秩因子，为第m个视觉特征的第i个低秩因子，为第m个数值特征的第i个低秩因子，为哈达玛乘积，r为低秩因子总数，，M为超点数； S3、从超点中确认目标节点超点，并确认目标节点超点的邻居节点超点； S4、构建初始关系图神经网络，计算得到邻居节点超点相对于目标节点超点的关系注意力； 关系注意力的表达式为： 其中为第l层关系图神经网络第k个目标节点超点和第j个邻居节点超点关系注意力，为以自然常数e为底的指数函数，为第l层关系图神经网络中，节点j通过关系r链接节点k的注意力分数，为第l层关系图神经网络，节点j通过关系r链接节点n的注意力分数，为第l层关系图神经网络第k个目标节点与第j个邻居节点的关系邻边，为注意力权重矩阵，为目标节点的邻居节点集合，为邻边集合，为拼接操作，，，M为超点数； S5、将目标节点和邻居节点之间的边作为邻边，通过互相关方式融合邻居节点和邻边，得到实体关系融合信息，的具体过程为： 根据公式： 得到实体关系融合信息；其中为的复共轭，为卷积； S6、通过关系注意力和实体关系融合信息构建关系聚合函数； S7、基于关系聚合函数更新超点和关系注意力，直到得到收敛的关系图神经网络模型，完成多模态知识图谱表示学习。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学(深圳)高等研究院，其通讯地址为：518000 广东省深圳市龙华区观澜街道新澜社区观光路1301-78号银星智界二期2号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。