买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江苏电力信息技术有限公司申请的专利一种基于知识库的模型蒸馏方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121009966B 。

龙图腾网通过国家知识产权局官网在2026-01-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511543247.2，技术领域涉及：G06N5/02；该发明授权一种基于知识库的模型蒸馏方法和装置是由杜森;丁中奎;朱利娟;徐祥设计研发完成，并于2025-10-27向国家知识产权局提交的专利申请。

本一种基于知识库的模型蒸馏方法和装置在说明书摘要公布了：本申请提供一种基于知识库的模型蒸馏方法和装置，属于模型蒸馏技术领域。本申请提供的方法包括：从多个预训练后的大模型中提取各层特征，组成蒸馏知识库；确定学生模型对应的任务内容；基于任务内容从蒸馏知识库中匹配目标知识，其中任务内容包括多个有序任务环节，每个任务环节至少对应一个目标知识，基于所述任务环节的任务描述与多个任务类型进行匹配，确定目标任务类型下的目标特征，将目标特征对应的知识确定为目标知识；基于目标知识指导学生模型训练，训练后的学生模型大小小于所述目标知识对应的大模型。本申请提供的基于知识库的模型蒸馏方法和装置，用以提供针对性蒸馏策略，使轻量级模型能够更好地适配实际应用场景。

本发明授权一种基于知识库的模型蒸馏方法和装置在权利要求书中公布了：1.一种基于知识库的模型蒸馏方法，其特征在于，所述方法包括： 从多个预训练后的大模型中提取各层特征，组成蒸馏知识库，其中，所述蒸馏知识库中每条知识对应一个特征，所述多个预训练后的大模型对应多个任务类型； 其中，所述组成蒸馏知识库，包括： 针对每个任务类型，选取多个预训练后的大模型作为知识源，提取各个预训练后的大模型从输入层至输出层的所有特征，所述所有特征包括模型参数和注意力权重； 以任务类型为主节点，层级信息为分支节点，构建与模型结构层级关系相同的知识架构； 将所述所有特征归类至所述知识架构中，组成主节点、分支节点和特征内容的三元组知识，存储至蒸馏知识库中； 确定学生模型对应的任务内容； 基于所述任务内容从所述蒸馏知识库中匹配目标知识，其中任务内容包括多个有序任务环节，每个任务环节至少对应一个目标知识，基于所述任务环节的任务描述与多个任务类型进行匹配，确定目标任务类型下的目标特征，将目标特征对应的知识确定为目标知识； 基于所述目标知识指导所述学生模型训练，训练后的学生模型大小小于所述目标知识对应的大模型； 其中，所述基于所述目标知识指导所述学生模型训练；包括： 为每个目标知识分配损失权重； 针对多个目标知识分别计算学生模型的蒸馏损失； 将多个目标知识对应的蒸馏损失根据对应的损失权重进行加权求和，得到总蒸馏损失； 以总蒸馏损失最小化为目标优化学生模型参数，完成学生模型训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江苏电力信息技术有限公司，其通讯地址为：210000 江苏省南京市鼓楼区北京西路22号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。