买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东师范大学申请的专利基于状态值生成的两阶段低资源对话状态追踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116795965B 。

龙图腾网通过国家知识产权局官网在2026-02-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310746889.7，技术领域涉及：G06F16/3329；该发明授权基于状态值生成的两阶段低资源对话状态追踪方法是由杨燕;顾铭;贺樑设计研发完成，并于2023-06-25向国家知识产权局提交的专利申请。

本基于状态值生成的两阶段低资源对话状态追踪方法在说明书摘要公布了：本发明公开了一种基于状态值生成的两阶段低资源对话状态追踪方法，其包括：采用PromptLearning微调预训练语言模型，从对话上下文中获取到当前轮用户所提到的所有状态值集合；采用自训练，使用大规模易于获取的对话数据来增强低资源场景下的状态值生成效果；为了过滤掉自训练过程中低置信度的伪标签数据，设计了一个状态值评估器来评估生成的状态值质量，通过对有限的训练集数据进行负采样得到该评估器的训练数据；最后，采用基于PromptLearning来微调预训练语言模型为每个生成的状态值生成其对应的槽位。本发明充分利用预训练语言模型来完成低资源对话状态追踪的任务，并且采用自训练，使用无标签对话数据来增强状态值生成效果。极大地提升了低资源状态追踪的效果。

本发明授权基于状态值生成的两阶段低资源对话状态追踪方法在权利要求书中公布了：1.一种基于状态值生成的两阶段低资源对话状态追踪方法，其特征在于，包括如下步骤： 步骤一：基于PromptLearning的状态值生成模型 采用PromptLearning的方式通过预训练语言模型，从对话文本中获取状态值；具体为：给定对话历史,其模型目标是将当前轮对话中所有的状态值生成出来，其中，分别表示第t轮对话中系统和用户的对话文本；使用Transformer模型进行状态值抽取；将Prompt以及对话历史输入到预训练语言模型编码器Encoder中，其输入表示为： ； 其中Prompt是自然语言提示，和分别表示对话历史和当前轮对话文本的开始标记； 给定当前轮次的输入，得到Encoder的输出： ； 之后预训练语言模型解码器Decoder对预训练语言模型编码器Encoder的输出做crossattention并生成出所有在当前轮被提到的状态值，其中crossattention为交叉注意力机制，然而状态值是一个集合，将状态值用“|”进行连接，最终的输出为： ； 模型训练的损失函数为交叉熵损失函数： ； 其中表示给定的情况下输出正确状态值集合的概率； 步骤二：自训练 采用自训练的方法进一步提升低资源场景下的状态值抽取准确率；具体为：有两批数据，其一是标注数据,其二是未标注数据首先在上训练一个模型然后将其作为教师模型对大量未标注数据进行状态值生成得到伪标签数据，之后使用状态值评估模型对伪标签数据中的噪声数据进行过滤，保留其中置信度高的数据，将过滤之后的伪标签数据与合并来训练一个学生模型；最后学生模型又成为新的教师模型，如此循环直到状态值生成的准确率不再提高为止； 所述状态值评估模型则由基于TransformerEncoder实现，具体为：首先将状态值生成模型的输出结果人工构建为Prompt模板，对于没有生成状态值的状况以及存在状态值的状况设置不同的自然语言提示，将对话历史与以标签连接得到输入的一部分，在开头额外加上标签用于分类；最终模型输入表示为： ； 将所述模型输入输入到Encoder中，就得到对应的隐藏层输出，取对应的隐藏层输出来进行分类，将送入到分类器中，评估当前生成的状态值是否正确且完整，具体如下所示： ； 其中为多层感知器，由两个线性变换层和一个激活层构成；P表示三分类问题的概率，定义的三分类问题为：1正确生成；2不完整生成；3错误生成； 其损失函数为交叉熵损失函数： ； 其中表示在给定时模型输出正确标签的概率； 步骤三、基于PromptLearning以及InversePromptLearning的槽位生成模型 得到当前对话轮次的所有状态值后，为每个状态值生成其对应的槽位，以此获取当前对话轮次的所有槽值对，最后更新状态；其槽位的生成：采用基于Prompt的生成式模型来为每个状态值生成其对应的槽位；模型的输入为： ； 其中为自然语言提示； 在训练槽位生成模型时，加入InversePromptLearning，即将所述输入中的改为,即InversePromptLearning中的自然语言提示； 在训练时每个状态值构成一对样本，一个是PromptLearning的样本，另一个是InversePromptLearning的样本；损失函数分别记为： ； ； 其中表示给定情况下模型输出正确槽位的概率，表示给定的情况下模型输出正确槽值的概率； 最终模型训练的损失函数为这两个损失函数的结合： ； 其中w为控制InversePromptLearning对模型训练的影响的一个超参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东师范大学，其通讯地址为：200241 上海市闵行区东川路500号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。