买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南通师范高等专科学校(南通市中小学教师研修中心)申请的专利一种优化小型模型中代码思维链生成的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120218176B 。

龙图腾网通过国家知识产权局官网在2025-12-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510274280.3，技术领域涉及：G06N3/096；该发明授权一种优化小型模型中代码思维链生成的方法是由沈逸恒;夏洪星;周莹;杨光设计研发完成，并于2025-03-10向国家知识产权局提交的专利申请。

本一种优化小型模型中代码思维链生成的方法在说明书摘要公布了：本发明提供了一种优化小型模型中代码思维链生成的方法，属于计算机领域。解决了代码生成任务中在资源受限环境下难以利用大语言模型生成高质量思维链的技术问题。其技术方案为：包括以下步骤：S1：利用三个高性能的大型语言模型作为教师模型以构建数据集；S2：利用词汇剪枝技术作为参数减少策略优化基础模型参数；S3：利用分治策略分别训练子模型并合并后微调，得到COTTON_lite模型；S4：通过将COTTON_lite模型部署在单GPU硬件上以生成高质量思维链。本发明的有益效果为：本发明提出的方法仅使用0.38B参数的模型，高质量生成思维链指导代码生成。

本发明授权一种优化小型模型中代码思维链生成的方法在权利要求书中公布了：1.一种优化小型模型中代码思维链生成的方法，其特征在于，包括以下步骤： S1、利用三个开源大型语言模型作为教师模型，以CodeHarmony数据集为基础，分别采用提示策略生成对应的思维链； S2、确保生成的思维链在语义上的一致性和有效性，基于功能正确性得到一个质量评估框架，筛选后得到最终数据集，设定数据集格式为代码段，思维链，代码描述； S2包括如下步骤： S21：对于每个生成的思维链Cji，首先评估模型E利用输入数据Xi和思维链Cji合成对应的代码Yi； S22：利用测试用例Ti评估代码Yi的功能正确性，计算思维链Cji得分scoreCji，其中compilerYi,t表示将代码Yi与测试用例t进行编译验证，如果代码通过测试用例，则返回0，否则返回非零值，如果生成的代码Yi通过了所有测试用例，则scoreCji＝1，否则scoreCji＝0； S23：当scoreCji为1，即Yi通过所有测试用例时，对应的思维链样本被选为候选思维链；若scoreCji为0，则该样本从数据集中排除，构建最终数据集D；S3、选用Qwen2.5-Coder-0.5Binstruct作为基础模型，采用词汇剪枝作为参数减少策略，将模型大小压缩为0.38B； S3包括如下步骤： S31：构建基础大语言模型Qwen2.5-Coder-0.5Binstruct； S32：根据训练语料中标记的频率，定义了一个基于频率的剪枝函数PVorig，PVorig＝{v∈Vorig∣fvτ}，其中，Vorig是原始的词汇表，v是词汇表中的一个标记，fv是标记v在训练语料库中出现的频率，τ是一个经验上确定的频率阈值； S33：将原始词汇表Vorig中频率高于阈值τ的标记保留下来，得到压缩后的词汇表Vpruned； S34：设置τ为1，原始词汇表大小N为151,936，剪枝后的词汇表大小M为23,954，将总参数从0.5B减少到0.38B，同时保留了模型的基本能力； S4、根据训练难度将数据集分成三个子集：简单、中等和困难； 所述S4包括如下步骤： S41：在基础模型上应用监督微调并为整个训练集生成思维链Csi，以评估每个训练样本的固有难度； S42：根据生成的思维链Csi与候选思维链Cji之间的BLEU分数分布，将数据集D划分为简单Deasy、中等Dmedium和困难Dhard三个子集； S5、利用分治训练策略在三个训练子集上分别训练三个子模型，并采用DARE结合任务算术的方法对三个子模型进行合并并微调，得到最终的代码思维链生成模型COTTON_lite； 所述S5包括如下步骤： S51、针对每个难度级别k∈{easy,medium,hard}，分别训练一个专门的模型Mk； S52、计算专门模型Mk与基础模型Qwen2.5-Coder-0.5Binstruct之间的差异，然后根据验证性能确定的重要性权重α进行加权组合； S53、通过DARE的重缩放机制在每一层应用dropout来防止不同任务之间的干扰； S54、使用完整的数据集对合并后的模型进行全面微调，得到最终的模型COTTON_lite； S6、将COTTON_lite部署在单GPU设备上，在代码生成阶段生成相应思维链提示，以指导代码生成。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南通师范高等专科学校(南通市中小学教师研修中心)，其通讯地址为：226000 江苏省南通市经济开发区育贤路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。