常州大学周奂月获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉常州大学申请的专利一种基于层级编码的联合实体识别及关系抽取方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116069935B 。
龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310145716.X,技术领域涉及:G06F16/353;该发明授权一种基于层级编码的联合实体识别及关系抽取方法是由周奂月;徐守坤;袁扬;张华君;石林;庄佳;周书钟设计研发完成,并于2023-02-21向国家知识产权局提交的专利申请。
本一种基于层级编码的联合实体识别及关系抽取方法在说明书摘要公布了:本发明涉及自然语言处理技术领域,尤其涉及一种基于层级编码的联合实体识别及关系抽取方法,包括采用预训练语言模型BERT编码词向量;构建类似LSTM门控机制;构建实体识别任务特征向量及关系抽取任务特征向量;将实体识别任务、关系抽取任务特征向量分别经线性层,进行实体识别及关系抽取的评分计算;将二分类交叉熵损失、二分类交叉熵损失和关系对称损失按照系数相加得到总损失;根据实体类型的预测分数和主语与宾语之间的关系类型为l的预测分数与阈值进行比较,得到最终三元组。本发明改善目前联合抽取的弱交互和单向交互的问题,并且解决无法识别出文本信息中存在的实体嵌套及关系嵌套的情况。
本发明授权一种基于层级编码的联合实体识别及关系抽取方法在权利要求书中公布了:1.一种基于层级编码的联合实体识别及关系抽取方法,其特征在于,包括以下步骤: 步骤一、采用预训练语言模型BERT编码词向量,通过BERT模型输出文本词向量序列; 步骤二、构建类似LSTM门控机制; 步骤二具体包括: 步骤21、初始化LSTM模型结构中第0个时刻的隐藏层向量h0和细胞单元向量c0; 步骤22、融合t时刻的词向量xt和t-1时刻的隐藏层向量ht-1,经过cumsoftmax激活函数得到t-1时刻和t时刻的实体门及关系门计算公式为: 其中,Wm,Um,bm为模型可训练的参数; 步骤三、构建实体识别任务特征向量及关系抽取任务特征向量,并且计算下个时刻的细胞单元向量和隐藏层向量; 步骤三具体包括: 步骤31、融合t时刻的词向量xt和t-1时刻的隐藏层向量ht-1,经过激活函数tanh得到t时刻的细胞单元中间向量ct’,计算公式为: ct’=tanhWcxt+Ucht-1+bc 其中,Wc,Uc,bc为模型可训练的参数; 步骤32、构建实体识别任务特征向量hner,计算公式为: 步骤33、构建关系抽取任务特征向量hre,计算公式为: 步骤34、融合hner和hre向量并经过线性层,计算得到当前t时刻细胞单元向量ct,ct经过激活函数tanh得到第t个时刻的隐藏层向量ht,ct及ht则作为下个时刻分层编码器的输入,计算公式为: ct=wnerhner+wrehre+bt ht=tanhct 其中,wner,wre,bt为模型可训练的参数; 步骤四、将获取到实体识别任务特征向量和关系抽取任务特征向量分别经过线性层,然后通过表格填充的形式进行实体识别及关系抽取的评分计算; 步骤五、将实体识别任务的二分类交叉熵损失、关系抽取任务的二分类交叉熵损失和关系对称损失按照系数相加得到总损失,通过损失对模型进行训练; 步骤六、根据实体类型的预测分数和主语与宾语之间的关系类型为l的预测分数与阈值进行比较,得到最终三元组。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人常州大学,其通讯地址为:213000 江苏省常州市武进区滆湖路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。