浙江工业大学杨旭华获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江工业大学申请的专利一种面向人机对话系统的命名实体识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119808786B 。
龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510009487.8,技术领域涉及:G06F40/295;该发明授权一种面向人机对话系统的命名实体识别方法是由杨旭华;赵煜勇;黄玉娇设计研发完成,并于2025-01-03向国家知识产权局提交的专利申请。
本一种面向人机对话系统的命名实体识别方法在说明书摘要公布了:一种面向人机对话系统的命名实体识别方法,首先去除大语言模型的因果掩码以充分挖掘大语言模型的双向语义嵌入表征能力,使其更适用于精准的令牌分类任务;然后计算大语言模型语义嵌入的语义相似度并作为新的监督信息融合到大语言模型的语义嵌入中,以改善去掩码大语言模型在恢复双向注意力时标签监督能力不足的问题,从而使模型获得更好的语义嵌入来计算对应的实体分数;最后分别计算实体和类型分数来识别命名实体。本发明考虑了大语言模型的双向语义理解信息和语义相似度信息,提高了大语言模型在人机对话系统中的命名实体识别的准确度。
本发明授权一种面向人机对话系统的命名实体识别方法在权利要求书中公布了:1.一种面向人机对话系统的命名实体识别方法,其特征在于,所述方法包括以下步骤: 步骤一、一个人机对话语句表示为,其中表示人机对话语句中的第1个字符,表示人机对话语句中的第i个字符,表示人机对话语句中的第个字符,表示字符数量; 步骤二、使用大语言模型获得人机对话语句的令牌输入序列,其中表示将转化为令牌之后的序列长度;步骤三、使用大语言模型将输入序列转化为初始的嵌入向量,其中,是大语言模型中隐藏向量的维度; 步骤四、计算大语言模型中单个注意力头的注意力矩阵,其中是多头注意力机制中的头数,大语言模型的因果掩码被置为全零,,,分别为大语言模型的查询矩阵,键矩阵和值矩阵; 步骤五、将多个单头的注意力矩阵合并得到最终的多头注意力矩阵,其中是大语言模型的输出矩阵;步骤六、计算,其中权重参数矩阵包含查询矩阵,键矩阵,值矩阵和输出矩阵,和是两个可学习的低秩矩阵,两者组成LoRA层; 步骤七、经过多个堆叠的大语言模型的块的计算,得到最后一层的隐藏表征序列; 步骤八、在中,每个都与整个序列计算余弦相似度,,其中; 步骤九、计算得到预测令牌是否应该是实体的预测标签序列,其中,是可学习的矩阵,; 步骤十、计算与的交叉熵损失函数,其中,是用来表示该令牌是否是命名实体的标签数据,第一维值为1表示该令牌是命名实体,第二维值为1表示该令牌不是命名实体; 步骤十一、计算得到预测令牌是什么实体类型的预测标签序列,其中是一个可学习的权重矩阵,,是需要识别的命名实体类型的数量; 步骤十二、计算与的交叉熵损失函数,其中,是用来表示该令牌是什么类型的命名实体的标签数据; 步骤十三、计算总损失函数,其中和是超参; 步骤十四、重复执行步骤二至步骤十三,当小于指定的最小损失值后,结束计算; 步骤十五、计算预测的人机对话系统中的命名实体识别结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江工业大学,其通讯地址为:310014 浙江省杭州市拱墅区朝晖六区潮王路18号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。
请提出您的宝贵建议,有机会获取IP积分或其他奖励