Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 天津大学;中国电子科技集团公司第五十四研究所贺瑞芳获国家专利权

天津大学;中国电子科技集团公司第五十四研究所贺瑞芳获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉天津大学;中国电子科技集团公司第五十四研究所申请的专利一种实体表示增强双提示交互的事件论元抽取方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119808780B

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311311155.2,技术领域涉及:G06F40/295;该发明授权一种实体表示增强双提示交互的事件论元抽取方法是由贺瑞芳;肖梦南;张仕奇;白洁设计研发完成,并于2023-10-10向国家知识产权局提交的专利申请。

一种实体表示增强双提示交互的事件论元抽取方法在说明书摘要公布了:本发明公开一种实体表示增强双提示交互的事件论元抽取方法,包括以下步骤:1双提示模板创建,包括输入和事件提示模板创建,分别用来提示输入中的实体和论元角色,此外,事件提示模板引入位置标记来区分同一论元角色多次出现;2实体表示增强,对于每个实体,先对其进行掩码,通过预训练掩码语言模型得到对应的表示,然后根据该实体在语料库中出现的位置聚合不同的掩码表示作为该实体的增强表示;3双提示交互,将输入和事件提示模板分别送入BART的编码器和解码器,实现二者的交互,此外,增强的实体表示自适应地融入BART,进行实体表示的增强;使用论元范围预测为事件模板中每个论元角色预测其对应论元在输入中的开始和结束位置。

本发明授权一种实体表示增强双提示交互的事件论元抽取方法在权利要求书中公布了:1.一种实体表示增强双提示交互的事件论元抽取方法,其特征在于,包括以下步骤: 1双提示模板创建,包括输入和事件提示模板创建,分别用来提示实体和论元角色;具体包括: 101输入提示模板创建 本发明采用输入提示模板来显式建模输入中的实体,其实现策略为在实体前后插入特殊单词;具体地,给定输入X=[x1,…,xi,…,xn],其中n表示句子或文档,若为文档,则将文档中的句子按顺序拼接成一个长句子,n是输入单词的个数,xi是第i个单词;假定xi为实体,则输入提示模板形式如下: X’=[x1,…,e,xi,e,…,xn]1 其中X'表示输入提示模板,e和e是用来提示实体的特殊单词;为了更加细粒度的建模,区分不同类型的实体,本发明引入实体的标签作为特殊单词;具体来说,假定原始输入为“TheessenceoftheAmericancaseforwaragainstSaddamHussein”,共包含两个实体“American”和“SaddamHussein”,其实体类型分别为“GPE”和“PER”,那么最终的输入提示模板为: “TheessenceoftheGPEAmericanGPEcasefortwartagainstPERSaddamHusseinPER” 其中“GPE”和“GPE”是用来提示American的实体类型为“GPE”的特殊单词,“PER”和“PER”的作用类似,“t”和“t”是用来提示触发词的特殊单词; 102事件提示模板创建 本发明采用事件提示模板来建模论元角色,每个事件都有一个事件提示模板,包含该事件预定义的全部论元角色;同时在事件提示模板中引入额外的位置标记以解决同一个论元角色出现多次的问题;具体地,给定事件类型为“Conflict.Attack”,论元角色包括“{Attacker,Target,Victim,Instrument,Place}”,则最终的事件提示模板Pe形式如下: arg01Attackerarg01attackedarg02Targetarg02hurtingarg03Victim arg03usingarg04Instrumentarg04atarg05Placearg05 其中下划线标记的特殊单词是位置标记,可以看到每个论元角色前后都有一对唯一的特殊标记;即使某个论元角色出现多次,依然可以通过位置标记来区分;预定义的事件模式只定义了每个事件包含的论元角色,未定义每个论元角色可能出现的次数,本发明通过统计训练语料中每个事件的论元角色出现次数的最大值作为该事件论元角色的出现次数;此外,输入和事件提示模板中的特殊标记作为可更新的参数加入到预训练模型的词表中,随着模型的训练不断更新; 2实体表示增强,对于输入中的每个实体,先对其进行掩码,再通过预训练掩码语言模型得到掩码单词的表示,然后根据该实体在语料库中多次出现的位置聚合不同的掩码表示作为该实体的增强表示;具体包括: 给定语料库中的单个句子S=[x1,…,e,…,xl],其中l是句子S单词的个数;假定e为实体,首先将其替换为[MASK],得到掩码后的句子S'=[x1,…,[MASK],…,xl],然后将S'送入预训练掩码语言模型中,将预训练掩码语言模型最后一层[MASK]位置的表示看作实体e的表示,如公式2所示: re=PMLMS′2 其中re指实体e的表示,PMLM表示预训练掩码语言模型,在实施过程中,可根据情况进行选择,如RoBERTa;对于实体e出现的其他位置,同样可以获取其相对应的表示,最终通过聚合所有的re来获得实体e增强后的表示,如公式3所示: 其中Ee指实体e增强后的表示,Se表示所有包含实体e的句子;通过这种方式,本发明离线为每个实体创建一个增强的实体表示;对于没有实体标注的语料,本发明通过自动化工具如spaCy进行数据预处理得到实体标注结果; 3双提示交互,将输入和事件提示模板分别作为预训练语言模型BART编码器和解码器的输入,实现实体和论元角色的交互;此外,增强的实体表示自适应地融入BART,进行实体表示的增强;最后,使用论元范围预测为每个论元角色检测其对应论元在输入中的开始和结束位置;具体包括: 给定输入,通过步骤1得到输入提示模板X'和事件提示模板Pe,通过BART预训练语言模型实现二者的交互;具体地,首先通过BART编码器对输入提示模板X'进行编码: Henc=BART-EncoderX′4 其中Henc指输入提示模板X'的编码器表示,模板中的每个单词都被编码为对应的词嵌入向量; 然后通过自适应的选择机制将增强的实体表示融入到BART,以增强实体中每一个单词: 其中e代表实体,Ee指实体e的增强表示,由步骤2得到,es表示实体e在输入提示模板中位置区间,指实体e的第i个单词的编码器表示,指实体e的第j个单词的编码器表示,Wenc表示权重参数,exp表示指数函数,αi表示实体e第i个单词的得分;指实体e的第i个单词增强后的编码器表示,对于不是实体的单词,不进行增强;然后通过BART解码器获得输入和事件提示模板的解码器表示: 其中Hdec指输入提示模板X'的解码器表示,Hpe指事件提示模板Pe的解码器表示,指增强后输入提示模板X'的编码器表示;对于事件提示模板Pe中由位置标记围绕的论元角色,通过其开始和结束位置来获取位置感知的论元角色表示,形式如下: 其中指事件提示模板中第k个论元角色的表示,startk和endk表示第k个论元角色在事件提示模板中的开始和结束位置,包括位置标记,d表示BART解码器的隐层输出维度; 获取所有论元角色的表示之后,然后通过论元范围预测来检测每个论元角色对应的论元在输入中的开始和结束位置;给定论元角色表示首先获取其开始和结束位置的特征表示: 其中hstart和hend指第k个论元角色开始和结束位置的特征表示,Wstart,bstart,Wend,bend是权重参数,ReLU表示激活函数,d表示BART解码器的隐层输出维度;在获取开始和结束位置特征表示之前,首先将的形状由3×d变为1×3d; 论元范围预测旨在从Hdec中获得论元角色表示对应论元的范围sk,ek,其中sk和ek代表对应的论元在输入中的开始和结束位置;事件的论元角色在事件中并不全都出现,如果一个论元角色在输入中没有相对应的论元,那么其范围就是0,0;在预测范围之前,同样将增强的实体表示自适应地融入Hdec: 其中e代表输入提示模板中的实体,Ee指实体e的增强表示,由步骤2得到,es表示实体e在输入提示模板中的位置区间,指实体e的第i个单词的解码器表示,指实体e的第j个单词的解码器表示,Wdec表示权重参数,exp表示指数函数,βi表示实体e第i个单词的得分;指实体e的第i个单词增强后的解码器表示,对于不是实体的单词,同样不进行增强;接下来通过下面的方式获取开始和结束位置: 其中hstart和hend分别指第k个论元角色开始和结束位置对应的特征表示,sstart和send表示开始和结束位置的概率分布,指增强后输入提示模板X'的解码器表示,n代表输入的单词个数,Softmax表示归一化函数; 为了优化模型,采用如下的损失函数: LkX=-sklogsstart+eklogsend16 其中D表示训练语料中的所有输入,s和e分别代表s和e的概率分布长度为n的one-hot向量。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人天津大学;中国电子科技集团公司第五十四研究所,其通讯地址为:300072 天津市南开区卫津路92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。