买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉云南民族大学申请的专利基于持续知识蒸馏的语法错误纠正方法、系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119808764B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411882587.3，技术领域涉及：G06F40/232；该发明授权基于持续知识蒸馏的语法错误纠正方法、系统是由于志强;杨泽明;蒋作;谭学文设计研发完成，并于2024-12-19向国家知识产权局提交的专利申请。

本基于持续知识蒸馏的语法错误纠正方法、系统在说明书摘要公布了：本发明涉及基于持续知识蒸馏的语法错误纠正方法、系统，属自然语言处理领域。本发明将蒸馏知识集作为教师模型与学生模型的输入，以输出的信息熵为基础进行量化打分，将蒸馏知识集划分为正集和负集；构建基于分布的蒸馏策略，使学生模型在正集上向教师模型学习，负集上学生模型避免犯教师模型同样的错误，实现知识蒸馏；构建知识继承策略，实现学生模型持续学习；通过知识蒸馏、学生模型持续学习和学生模型训练损失，产生训练总损失；根据训练总损失计算损失函数梯度，根据梯度及学习率更新模型参数权重，得到最终的语法错误纠正模型。本发明解决模型训练性能不高，平行语料库缺少问题，实现高效的知识转移，提升语法纠错模型效果。

本发明授权基于持续知识蒸馏的语法错误纠正方法、系统在权利要求书中公布了：1.基于持续知识蒸馏的语法错误纠正方法，其特征在于：所述方法包括： Step1、将蒸馏知识集作为教师模型与学生模型的输入，以计算教师模型与学生模型输出的信息熵为基础进行量化打分，通过判断教师模型得分是否优于学生模型，将蒸馏知识集划分为正集和负集； Step2、构建基于分布的蒸馏策略，分别计算正集和负集在学生模型与教师模型之间的趋近分布，使学生模型在正集上向教师模型学习，负集上学生模型避免犯教师模型同样的错误，用于实现学生模型向教师模型知识蒸馏； Step3、构建知识继承策略，使学生模型向上一个时间步的学生模型学到的知识进行复习，用于实现学生模型持续学习； Step4、通过学生模型向教师模型知识蒸馏、学生模型持续学习再加学生模型训练损失，产生最终的训练总损失； Step5、使用得到的训练总损失计算损失函数梯度，利用优化器根据梯度及学习率更新模型参数权重，得到最终的语法错误纠正模型，用于进行语法错误纠正； 所述Step1包括： Step1.1、将蒸馏知识集分别作为教师模型、学生模型的输入，计算目标token的熵；其中，学生模型的信息熵的计算公式如下： 教师模型的信息熵的计算公式如下： 其中X表示源语言训练集，y表示模型预测结果，j表示句子中词索引值，yj表示当前目标词，y＜j表示目标句子中在第j个词之前的错误语法纠正预测结果，S表示学生模型，T表示教师模型，表示学生模型对目标词的预测概率分布的熵值，用于衡量学生模型预测能力；表示教师模型对目标词的预测概率分布的熵值，用于衡量教师模型预测能力；Py|y＜j,X,S表示学生模型目标预测概率，Py|y＜j,X,T表示教师模型目标预测概率； Step1.2、在获得目标token的熵后，分别采用余弦定理来计算学生模型教师模型与ylabel的相似度SCS和TCS，SCS和TCS的计算公式分别如下： 其中表示当前学生模型预测信息熵，表示当前教师模型预测信息熵，ylabel表示当前标签数据，SCS表示学生模型预测结果与标签数据之间相似度，TCS表示教师模型预测结果与标签数据之间相似度； Step1.3、比较学生模型预测结果与标签数据之间相似度SCS与教师模型预测结果与标签数据之间相似度TCS，将蒸馏知识集划分为正集和负集；当SCS比TCS值小，即划分为正集否则划分为负集

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人云南民族大学，其通讯地址为：650504 云南省昆明市呈贡区月华街2929号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。