买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海阶跃星辰智能科技有限公司申请的专利一种基于自回归训练的语言模型优化方法及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120258047B 。

龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510741088.0，技术领域涉及：G06N3/045；该发明授权一种基于自回归训练的语言模型优化方法及相关设备是由汪自力设计研发完成，并于2025-06-05向国家知识产权局提交的专利申请。

本一种基于自回归训练的语言模型优化方法及相关设备在说明书摘要公布了：本申请提供一种基于自回归训练的语言模型优化方法及相关设备，方法包括：构建语言模型的自回归训练框架，基于输入的历史上下文预测后续词的概率分布，其中每一代自回归训练中的概率分布用于生成下一代的合成数据；在每一代训练中，按设定比例将真实数据与上一代模型生成的合成数据混合作为训练数据，其中，真实数据的占比根据训练代数增加而动态降低；利用混合数据训练语言模型，更新模型参数，生成下一代训练所需的合成数据；在每一代训练后，度量当前模型生成的数据分布与真实数据分布的差异，并根据差异动态调整真实数据的占比；通过上述步骤持续优化语言模型的自回归训练过程。有效抑制了语言模型在多轮自回归训练过程中产生的分布漂移问题。

本发明授权一种基于自回归训练的语言模型优化方法及相关设备在权利要求书中公布了：1.一种基于自回归训练的语言模型优化方法，其特征在于，包括： 构建语言模型的自回归训练框架，基于输入的历史上下文预测后续词的概率分布，其中，每一代自回归训练中的所述概率分布用于生成下一代的合成数据； 在每一代训练中，按设定比例将真实数据与上一代模型生成的合成数据混合作为训练数据，其中，所述训练数据中真实数据的占比根据训练代数增加而动态降低； 利用混合数据训练语言模型，更新模型参数，生成下一代训练所需的合成数据，其中，限制所述合成数据的数量相对于所述真实数据的数量不超过设定的合成数据比例控制条件； 在每一代训练后，度量当前模型生成的数据分布与真实数据分布的差异，并根据所述差异动态调整所述真实数据的占比，包括： 基于当前代模型生成的数据分布与初始真实数据分布，计算两者之间的L1范数作为分布漂移的度量值，所述L1范数为两者在全部类别上的概率差值绝对值之和； 将所述度量值与预设的分布偏差阈值进行比较，所述分布偏差阈值为预设的用于判断当前代模型是否偏离真实语义分布的最大可容忍范围； 若所述度量值超过所述分布偏差阈值，则在下一代训练数据中提高真实数据的占比，并相应减少合成数据的比例，以降低模型分布漂移风险； 若所述度量值未超过所述分布偏差阈值，则根据预设的递减策略调整真实数据的占比，继续下一代训练； 控制当前代模型生成的数据分布与初始真实数据分布之间分布漂移程度的策略包括： 通过设定与真实数据规模相关的常数C，以及记录当前自回归训练的训练代数m，形成如下分布漂移上界约束： ； 其中，表示当前代生成分布与初始真实分布之间的L1范数偏差； 随着训练代数的增加，分布漂移的理论上限呈形式逐步收敛，确保在每一代训练后，当前代模型生成的数据分布与初始真实数据分布之间的分布漂移的度量值呈递减趋势，从而在模型训练过程中形成训练代数与分布漂移控制之间的动态平衡关系，确保训练过程中的分布漂移始终可控； 基于概率分布生成的合成数据、动态数据比例控制以及合成数据数量约束，持续优化语言模型的自回归训练过程。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海阶跃星辰智能科技有限公司，其通讯地址为：200232 上海市徐汇区云锦路701号30层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。