买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利基于Transformer指针抽取的人机多轮对话改写方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116028606B 。

龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310007932.8，技术领域涉及：G06F16/3329；该发明授权基于Transformer指针抽取的人机多轮对话改写方法是由宋建锋;孙章杰;苗启广;刘如意;谢琨;刘向增;权义宁设计研发完成，并于2023-01-04向国家知识产权局提交的专利申请。

本基于Transformer指针抽取的人机多轮对话改写方法在说明书摘要公布了：本发明公开了一种基于Transformer指针抽取的人机多轮对话改写方法，其实现步骤为：构造文本语义相关性识别网络和语义缺失文本改写网络；生成训练集；训练文本语义相关性识别网络和语义缺失文本改写网络；判断用户输入文本间语义是否相关；改写语义缺失文本。本发明利用Transformer的预训练模型进行特征提取并编码，利用通过指针地址抽取文本关键信息内容的技术思路对用户文本进行改写。使得本发明具有可以判断是否需要对用户当前输入文本进行改写、改写用户语义缺失文本质量高、耗时短的优点，可用于人机多轮对话领域中对语义缺失文本的改写任务。

本发明授权基于Transformer指针抽取的人机多轮对话改写方法在权利要求书中公布了：1.一种基于Transformer指针抽取的人机多轮对话改写方法，其特征在于，基于Transformer的预训练模型进行特征提取并编码，分别构建并训练文本语义相关性识别网络和语义缺失文本改写网络；该对话改写方法的步骤包括如下： 步骤1，构建文本语义相关性识别网络： 搭建一个四层的文本语义相关性识别网络，其结构依次串联为：数据处理层，语义编码层，分类处理层，输出层；其中，语义编码层是由Bert预训练模型实现；将字嵌入向量维度设置为768，文本允许的最大长度设置为10；分类处理层由两个结构相同的第一分类单元和第二分类单元串联组成，每个分类单元由Dropout模块和全连接模块串联组成，将Dropout的比例设置为0.2，第一分类单元中的全连接模块输出维度设置为8，第二分类单元中的全连接模块输出维度设置为2；输出层由Softmax单元组成，输出值均设置为0或1； 步骤2，构建语义缺失文本改写网络： 搭建一个四层的语义缺失文本改写网络，其结构依次串联为：数据处理层，语义编码层，指针预测层，输出层；其中，语义编码层是由Transformer的rbt3预训练模型实现，将字嵌入向量维度设置为768，文本允许的最大长度设置为50；指针预测层是由指针抽取方法实现，通过抽取文本关键信息的指针地址，用指针地址提取的关键词替换待改写文本的指代词或插入缺省位置，得到改写后的完整语义文本，将训练样本批次大小设置为16，训练总轮次大小设置为20；输出层是由解码器实现，将网络对于样本数据的改写评估指标设置为Rouge-1值； 步骤3，生成训练集： 步骤3.1，将两段文本及对应的语义相关性标签组成label，q1，q2格式的一组文本语义相关性识别数据，其中，q1和q2分别表示用于语义相关性识别的两个文本，label表示标签，值为0或1，分别对应两个文本语义不相关或相关；采用相同方式，选取至少80000组文本语义相关性识别数据组成文本语义相关性识别训练集； 步骤3.2，将四段文本组成a，b，current，right格式的一组数据，其中，a表示用户上一轮输入文本，b表示系统上一轮的回复文本，current表示当前待改写的文本，right表示理论正确改写后的文本；采用相同方式，选取至少17000组数据组成语义缺失文本改写训练集； 步骤4，训练文本语义相关性识别网络： 将文本语义相关性识别训练集输入到文本语义相关识别网络中，输出训练样本的预测标签，利用交叉熵损失函数计算训练样本的预测标签与真实标签之间的损失值，通过梯度下降法，迭代更新文本语义相关识别网络中的所有参数，直至损失值不再变化为止，得到训练好的文本语义相关识别网络； 步骤5，训练语义缺失文本改写网络： 将语义缺失文本改写训练集输入到语义缺失文本改写网络中，输出改写后的完整语义文本，并计算网络改写后的文本和理论正确改写的文本间的Rouge-1值，通过梯度下降法，迭代更新语义缺失文本改写网络中的所有参数，直至Rouge-1值不再变化为止，记录最高的Rouge-1值训练轮次的所有参数，得到训练好的语义缺失文本改写网络； 步骤6，判断用户输入文本间语义是否相关： 将用户上一轮输入文本与用户当前输入文本，输入到训练好的文本语义相关性识别网络中，输出用户两轮对话文本的语义相关性预测标签，若预测标签值为0，则说明用户当前输入文本与上一轮输入文本间的语义无关联，无需改写；若预测标签值为1，说明用户当前输入文本与上一轮输入文本间的语义相关联，需要进行改写工作理解当前输入文本的语义，执行步骤7； 步骤7，改写语义缺失文本： 将用户上一轮输入文本与用户当前输入文本以及机器上一轮回复文本，均输入到训练好的语义缺失文本改写网络中，输出对用户当前输入文本改写后的完整语义文本，根据改写后的完整语义文本理解用户当前输入文本的语义。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。