买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京华电数智云链科技有限公司申请的专利基于三阶联合蒸馏的供应链及电商采购领域大模型压缩与在线增量学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120317899B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510383981.0，技术领域涉及：G06Q30/0201；该发明授权基于三阶联合蒸馏的供应链及电商采购领域大模型压缩与在线增量学习方法是由王新格;孟文君;闫昱名;胡中瑞;张俊强;武星辉设计研发完成，并于2025-03-28向国家知识产权局提交的专利申请。

本基于三阶联合蒸馏的供应链及电商采购领域大模型压缩与在线增量学习方法在说明书摘要公布了：本发明公开基于三阶联合蒸馏的供应链及电商采购领域大模型压缩与在线增量学习方法，包括：采集供应链合规文档和采购订单结构化数据并预处理，得到数据集；构建教师模型和学生模型，教师模型和学生模型均包括编码器、解码器和预测头；利用数据集对教师模型和学生模型进行三阶段知识蒸馏；采集新增数据，判断新增数据是否触发增量学习的条件，若是，则利用三阶段知识蒸馏得到的教师模型和学生模型进行增量学习，得到训练好的教师模型和学生模型；利用训练好的教师模型和学生模型进行协同推理，得到预测结果。通过分层迁移协议与多模态联合优化实现知识蒸馏，并结合在线增量学习机制应对电商促销、季节性需求、供应商报价浮动等数据分布漂移问题。

本发明授权基于三阶联合蒸馏的供应链及电商采购领域大模型压缩与在线增量学习方法在权利要求书中公布了：1.一种基于三阶联合蒸馏的供应链及电商采购领域大模型压缩与在线增量学习方法，其特征在于，包括以下步骤： 采集供应链合规文档和采购订单结构化数据，对供应链合规文档和采购订单结构化数据进行预处理，得到数据集； 分别基于大语言模型构建教师模型和学生模型，教师模型和学生模型均包括编码器、解码器和预测头； 利用数据集对教师模型和学生模型进行三阶段知识蒸馏；所述三阶段知识蒸馏具体为按照编码器蒸馏阶段、解码器蒸馏阶段和预测头蒸馏阶段的顺序执行分层知识迁移； 所述编码器包括自注意力层和前馈子层； 所述编码器蒸馏阶段具体为： 将数据集分为训练集和验证集，配置超参数，超参数包括学习率、批大小、最大迭代次数和优化器； 当训练集训练完编码器后，利用验证集进行验证，计算F1分数，若F1分数连续5次波动幅度小于设定范围，则编码器蒸馏阶段部分收敛，冻结编码器参数，包括冻结所有自注意力层和前馈子层的参数，若验证集的损失值在设定迭代次数后不下降，则降低学习率并启用梯度裁剪； 在训练编码器过程中，将教师模型的中间表征缓存至本地； 所述解码器输入端附加位置编码或段向量，用于区分不同数据模态，所述数据模态包括文本、数值和时间戳；或所述解码器输入端增加依次连接的嵌入层和多层感知机，用于对数值型字段进行投影； 所述解码器蒸馏阶段具体包括： 在解码器端处理多模态数据时，将不同模态统一映射到可对齐的向量空间，进行多模态特征融合； 配置超参数，包括学习率和批大小； 解码器蒸馏阶段的目标包括注意力矩阵对齐和语义分布对齐；所述注意力矩阵对齐具体为：学生模型各层产生的注意力矩阵与教师模型对应层的注意力矩阵保持相似，二者相似度通过二范数或均方误差度量；所述语义分布对齐具体为：学生模型的输出与教师模型在同一输入上的输出分布对齐，用KL散度或均方误差衡量二者差异； 当路径推理准确率或F1分数达到阈值，冻结解码器参数，否则增加若干迭代次数进行解码器的微调； 通过投影学生模型注意力至教师模型空间，式中，ψ·表示从学生模型注意力表示空间投影到教师模型注意力表示空间的投影函数，Wψ为可训练的投影矩阵，用于将学生注意力矩阵的维度或分布映射到与教师注意力同等或可比拟的空间中，为学生模型第l′层生成的注意力矩阵； 更新投影矩阵Wψ，在更新投影矩阵时加入L2正则化项，每次反向传播都更新投影矩阵的参数； 所述预测头蒸馏阶段具体为： 更新低秩适配层参数Wadapt，训练预测头，随机抽取编码器蒸馏阶段和解码器蒸馏阶段的历史数据混合到当前训练中，以防止模型在最终蒸馏阶段遗忘前序任务；在训练过程中，每达到一次预设迭代次数，评估一次合规条款分类任务的F1分数，以及采购成本分布预测任务的Wasserstein距离，若连续3次评估指标无改进则终止预测头蒸馏； 采集新增数据，判断新增数据是否触发增量学习的条件，若是，则利用三阶段知识蒸馏得到的教师模型和学生模型进行增量学习，得到训练好的教师模型和学生模型； 利用训练好的教师模型和学生模型进行协同推理，若学生模型的预测置信度小于阈值，则加权融合教师模型和学生模型的输出，得到合规条款分类、采购成本分布预测和供应商优先级排序结果；反之，直接采用学生模型的预测结果作为最终输出，得到合规条款分类、采购成本分布预测和供应商优先级排序结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京华电数智云链科技有限公司，其通讯地址为：100073 北京市丰台区丽泽路16号院4号楼汇亚大厦37层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。