福州大学陈羽中获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉福州大学申请的专利回复增强与跨度预测共同优化的多轮对话方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116361437B 。
龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310333768.X,技术领域涉及:G06F16/3329;该发明授权回复增强与跨度预测共同优化的多轮对话方法及系统是由陈羽中;刘律民设计研发完成,并于2023-03-31向国家知识产权局提交的专利申请。
本回复增强与跨度预测共同优化的多轮对话方法及系统在说明书摘要公布了:本发明涉及一种回复增强与跨度预测共同优化的多轮对话方法及系统,该方法包括以下步骤:步骤A:提取用户对话、用户对话涉及的回复,并标注用户对话涉及的相关回复话语的标签,正样本为对话中正确的回复,负样本为不正确的回复,构建训练集UB;步骤B:使用训练集UB训练回复增强与跨度预测共同优化的深度学习网络模型G,用于学习用户对话中和用户对话涉及的回复中的局部语义关系,同时针对用户对话涉及的回复中的内容进行学习;步骤C:将完整用户对话和用户对话涉及的回复输入到训练好的深度学习网络模型G中,得到关于完整用户对话的正确回复。该方法及系统可以有效提高回复选择的准确性。
本发明授权回复增强与跨度预测共同优化的多轮对话方法及系统在权利要求书中公布了:1.一种回复增强与跨度预测共同优化的多轮对话方法,其特征在于,包括以下步骤: 步骤A:提取用户对话、用户对话涉及的回复,并标注用户对话涉及的相关回复话语的标签,正样本为对话中正确的回复,负样本为不正确的回复,构建训练集UB; 步骤B:使用训练集UB训练回复增强与跨度预测共同优化的深度学习网络模型G,用于学习用户对话中和用户对话涉及的回复中的局部语义关系,同时针对用户对话涉及的回复中的内容进行学习; 步骤C:将完整用户对话和用户对话涉及的回复输入到训练好的深度学习网络模型G中,得到关于完整用户对话的正确回复; 所述步骤B具体包括以下步骤: 步骤B1:对训练集UB中的每个训练样本进行编码,得到上下文的初始表征向量候选回复的初始表征向量以及标签y; 步骤B2:对训练集UB中的每个训练正样本,对回复中的词级向量通过随机删除或者随机乱序两种操作进行数据增强,得到数据增强后的回复的初始表征向量将步骤B1中的上下文的初始表征向量作为增强后回复对应的上下文,得到对应的上下文表征向量 步骤B3:对训练集UB中的每个训练样本,随机截取上下文中的一个对话片段,得到对话片段的初始表征向量将原本上下文中所对应的候选回复作为得到的对话片段的回复,得到对话片段对应的候选回复的初始表征向量 步骤B4:将表征向量和输入到预训练语言模型中,得到优化后的全局语义信息的表征向量 步骤B5:将输入到sigmoid层,根据目标损失函数lossmain,利用反向传播方法计算深度学习网络模型G中的各参数的梯度,并利用随机梯度下降方法更新参数; 步骤B6:将上下文初始表征向量和数据增强后的回复的初始表征向量进行拼接后输入到预训练语言模型中,得到代表全局语义信息的标签向量将输入到sigmoid层,根据目标损失函数lossra,利用反向传播方法计算深度学习网络模型G中的各参数的梯度,并利用随机梯度下降方法更新参数; 步骤B7:将对话片段的初始表征向量和对话片段所对应的回复表征向量进行拼接后输入到预训练语言模型中得到将输入到LSTM网络层中进行时序信息的学习,得到将输入到sigmoid层,根据目标损失函数losssp,利用反向传播方法计算深度学习网络模型G中的各参数的梯度,并利用随机梯度下降方法更新参数; 步骤B8:基于目标损失函数lossmain、lossra、losssp得到总的目标损失函数loss,并根据总的目标损失函数loss,利用反向传播方法计算深度学习网络模型G中的各参数的梯度,并利用随机梯度下降方法更新参数;当深度学习网络模型G产生的损失值迭代变化小于设定阈值不再降低或者达到最大迭代次数,终止深度学习网络模型G的训练; 所述步骤B8中,在微调的同时,预训练语言模型BERT使用多任务联合训练框架,将预训练语言模型BERT的参数导出,在两个辅助任务优化的过程中学习回复话语中蕴含的语义信息同时学习到局部上下文与回复话语之间蕴含的相关性;在微调的过程中同时优化两个辅助任务与一个主任务,因此,深度学习网络模型的总的目标损失函数如下: Loss=Lossmain+αLossra+βLosssp 其中α,β是两个超参数,分别用于控制两个辅助任务对多轮对话模型的影响力。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福州大学,其通讯地址为:350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。