福州大学汪璟玢获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉福州大学申请的专利利用类型融合改进知识图嵌入的KGE-TF方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117194681B 。
龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311261815.0,技术领域涉及:G06F16/36;该发明授权利用类型融合改进知识图嵌入的KGE-TF方法是由汪璟玢;孙首男设计研发完成,并于2023-09-27向国家知识产权局提交的专利申请。
本利用类型融合改进知识图嵌入的KGE-TF方法在说明书摘要公布了:本发明提出利用类型融合改进知识图嵌入的KGE‑TF方法,利用实体类型聚合器和关系上下文类型聚合器,将类型信息融入知识图的实体嵌入和知识图的关系嵌入;所述方法还包括基于KGE‑TF模型的KGE‑TF框架,所述框架通过约定统一的损失函数来形成通用的知识表示学习框架,所述框架将类型信息作为任意维度的低维向量,并将类型信息映射到实体嵌入空间与关系嵌入空间中与其融合,丰富实体和关系的嵌入表示,缓解数据稀疏问题;所述类型信息为附加的融合信息,不要求每个实体都拥有类型信息;本发明能丰富实体和关系的嵌入表示,缓解数据稀疏问题,本发明还约定统一的损失函数,形成一种通用的知识表示学习框架,以显著提高原有模型在知识补全任务上的性能。
本发明授权利用类型融合改进知识图嵌入的KGE-TF方法在权利要求书中公布了:1.利用类型融合改进知识图嵌入的KGE-TF方法,用于在知识图中引入其他辅助信息以有利于令实体和关系学习到更加丰富和准确的嵌入表示,其特征在于:所述方法利用实体类型聚合器和关系上下文类型聚合器,将类型信息融入知识图的实体嵌入和知识图的关系嵌入; 所述方法还包括利用类型融合改进知识图嵌入的知识表示学习框架,为基于KGE-TF模型的KGE-TF框架,所述框架通过约定统一的损失函数来形成通用的知识表示学习框架,所述框架将类型信息作为任意维度的低维向量,并将类型信息映射到实体嵌入空间与关系嵌入空间中与其融合,丰富实体和关系的嵌入表示,缓解数据稀疏问题;所述类型信息为附加的融合信息,不要求每个实体都拥有类型信息; 所述知识图以G={E,R,T,C}表示,E表示知识图中的实体集合,R表示知识图中的关系集合,C表示知识图中的类型集合,T表示知识图中的三元组集合;三元组表示为h,r,t∈T,其中h∈E表示头实体,r∈R表示关系,t∈E表示尾实体; 当知识图的关系嵌入的关系为“演唱”时,头实体包括“人”、“歌手”类型; 当引入类型信息时,每个实体e∈E都有各自的类型集合Ce∈C,每个类型表示为c∈C; 所述KGE-TF框架包括类型融合模块、基础模型和统一的二元交叉熵函数; 所述类型融合模块包括实体类型聚合器ETA和关系上下文类型聚合器RCTA,分别用于将类型信息融入实体嵌入和关系嵌入中,以增强实体和关系的嵌入表示; 所述基础模型,即已被提出的知识表示学习模型; 所述二元交叉熵函数通过约定损失函数,提供统一的训练策略; 在训练KGE-TF模型时,将原始的知识图嵌入经过实体类型聚合器以及关系上下文类型聚合器,分别得到融合了类型的实体嵌入和关系嵌入,并将最终嵌入作为基础模型的输入进行模型训练; 所述KGE-TF模型的设计,包括实体类型聚合器、关系上下文类型聚合器、框架能力设计; 所述知识图中,每个实体都拥有若干个类型,各类型信息的直接组合直接反映实体的抽象信息; 所述实体类型聚合器采用平均聚合的方式来聚合实体的类型信息,以平等地照顾到实体的每个类型信息,即给定知识图中某个实体e以及e的类型集合Ce={c1,c2,...,ck,...,cn},n表示实体e的类型个数;将e的类型进行聚合,得到实体e的类型聚合嵌入ce,公式如下: 其中|Ce|为实体e的类型个数; 所述类型信息作为一种抽象信息,包含的信息比实体和关系更少,因此将类型表达为比实体与关系更加低维的向量,即dc<de; 所述类型与实体不在同一向量空间中,通过设计一个投影矩阵将聚合之后的类型信息投影到实体所在向量空间中,并进一步提取类型相关特征,以便将类型信息融合到实体嵌入中;经过投影后的实体类型信息表达为所述类型的维度能够自由设置而不受实体和关系的嵌入维度的影响,公式为 ec=Wece公式二; 由于ec仅仅是实体e的类型聚合特征,为了增强实体e的嵌入表示,将ec融入e的嵌入中;由于通过加法融合两种信息是直观的,并且能够很大程度保留实体的原有特征,因此,将实体的原始嵌入与类型聚合特征通过直接相加的手段,将两者融合,实体e融合了类型后的最终表示为e',公式如下所示; e'=e+ec公式三; 将关系与头实体以及尾实体的连接,称作关系上下文; 所述关系上下文类型聚合器将关系上下文类型信息分为关系-头类型信息与关系-尾类型信息,通过分别聚合,并在最后加以组合的方式得到关系的类型聚合特征;给定知识图中某个关系r,令与关系r相关的所有头实体集合表示为Erh={e1,...,ek,...,en},与关系r相关的所有尾实体集合为Ert={e1,...,ek,...,em},其中n,m分别表示与关系r相连的不同的头实体和尾实体的个数;进一步地,与关系r相关的所有头实体类型集合表示为Crh={c|c∈Ce|e∈Erh},与关系r相关的所有尾实体类型集合表示为Crt={c|c∈Ce|e∈Ert};对于关系也采用平均聚合的方式分别聚合关系-头类型信息与关系-尾类型信息,分别表示为crh以及crt,如下述公式四以及公式五所示; 此时需要将关系-头类型与关系-尾类型的嵌入有效地结合在一起,作为关系类型信息嵌入,选择以下五种操作φrch,rct中的任一种执行; 相加融合:φaddrch,rct=rch+rch; 相加映射融合:φadd_wrch,rct=Waddrch+rch,其中Wadd∈dr×dr为一个权重矩阵,旨在进一步提取关系的头尾类型相加后的特征; 相乘融合:φmulrch,rct=rchοrct,其中ο表示元素点乘; 拼接融合:φcatrch,rct=[rch;rct],其中[·;·]表示向量拼接操作,在此操作下,需要令dr=12de; 拼接映射融合:φcat_wrch,rct=Wcat[rch;rct],为一个投影矩阵,将拼接后的向量映射回实体嵌入空间中; 经过φ操作有效的融合关系-头类型与关系-尾类型后,得到关系的聚合类型信息,以公式表示为: rc=φrch,rct公式八; 最后,为了增强关系r的嵌入表示,将关系r的类型嵌入rc融入到原始的嵌入r中;关系通过相加的方式,得到关系r融合类型之后的最终表示的公式如下; r'=r+rc公式九; 所述框架能力设计包括基础模型适配,还包括统一的训练策略与损失函数; 所述训练策略使用1-N评分策略,对于批次中的每个h,r,将知识图中所有实体作为候选尾实体t同时进行评分; 所述损失函数采用二元交叉熵函数BCE,令某个样本的标签以及成立概率作为输入,计算损失,BCE损失函数如下所示 其中i表示第i个三元组;yi表示第i个三元组的标签,值为0或1,正例为1,负例为0;0<pi<1表示第i个三元组的成立概率,N表示参与评分的所有三元组的数量;该损失函数的目标是最大化正例三元组的成立概率,最小化负例三元组的成立概率; 所述基础模型适配的内容为:以BCE损失函数的输入为某个样本的成立概率,而基于边距的损失的输入为实际计算结果与得分函数约定的计算结果之间的差距;为了令其能够顺利移植到KGE-TF框架中,统一采用BCE损失函数进行模型训练优化,需要在不改变原模型的设计思想的基础上,对得分函数进行简单修改,修改得分函数的目的是令得分函数的输出为该三元组的成立概率; 在将损失函数统一为BCE损失函数,并抛弃了负采样策略后,修改后得分函数的公式的一种为 fh,r,t=σγ-||h+r-t||L1L2公式十三; γ依然为边距参数,σ为sigmoid激活函数; 经过σ激活之后,得分函数的输出为一个0~1之间的数,用于表示三元组成立的概率,因此,能够方便地应用于BCE损失函数中; 修改后得分函数的公式的另一种为 fh,r,t=σhΤdiagMrt公式十六。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福州大学,其通讯地址为:350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。