飞诺门阵(北京)科技有限公司沈寓实获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉飞诺门阵(北京)科技有限公司申请的专利基于知识蒸馏的领域大模型轻量化自适应方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120832915B 。
龙图腾网通过国家知识产权局官网在2026-02-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511340657.7,技术领域涉及:G06N3/0455;该发明授权基于知识蒸馏的领域大模型轻量化自适应方法及系统是由沈寓实;郭哲滔;刘星妍;兰健设计研发完成,并于2025-09-19向国家知识产权局提交的专利申请。
本基于知识蒸馏的领域大模型轻量化自适应方法及系统在说明书摘要公布了:本发明涉及大模型算法技术领域,尤其涉及一种基于知识蒸馏的领域大模型轻量化自适应方法及系统,该方法获取知识蒸馏参数与学生模型性能参数,建立两者非线性映射关系;基于映射关系优化求解最佳参数组合,生成目标知识蒸馏参数;将目标参数下发至训练引擎,实时监控性能偏移并触发再优化;在推理过程中,监控性能波动并管控模型特性;采集目标领域数据特性,结合大数据分析修正映射关系,提升领域适配能力;构建历史蒸馏数据的知识库与案例库,形成标准化调节方案,实现自适应匹配。本方案通过精准建模、动态优化、实时监控与知识复用,显著提升知识蒸馏效率、模型鲁棒性与领域适应性,为大模型轻量化提供系统性技术支撑。
本发明授权基于知识蒸馏的领域大模型轻量化自适应方法及系统在权利要求书中公布了:1.一种基于知识蒸馏的领域大模型轻量化自适应方法,其特征在于,所述方法应用于图像领域以及文本领域,所述方法包括: 获取领域大模型的知识蒸馏参数和学生模型性能参数,建立所述知识蒸馏参数与所述学生模型性能参数的非线性映射关系; 根据构建的所述知识蒸馏参数与所述学生模型性能参数的非线性映射关系,优化求解知识蒸馏参数的最佳组合,得到实现目标性能指标的目标知识蒸馏参数; 将优化得到的目标知识蒸馏参数下发至模型训练引擎,实时采集学生模型性能参数并进行过程监控,在学生模型性能参数偏移时触发再优化; 在模型推理过程中对学生模型性能参数进行监控,并对学生模型性能参数不规律波动或不可控的场景进行模型特性的管控; 获取目标领域数据特性数据,对训练过程的学生模型性能参数、知识蒸馏参数以及目标领域数据特性数据进行大数据分析,并根据各参数之间的内在联系不断修正完善所述知识蒸馏参数与所述学生模型性能参数的非线性映射关系; 获取不同目标领域数据特性下的历史蒸馏数据,所述历史蒸馏数据包括历史目标知识蒸馏参数组合,建立知识蒸馏参数优化的知识库和案例库,形成标准化的知识蒸馏轻量化方案,并基于所述标准化的知识蒸馏轻量化方案对领域大模型的知识蒸馏参数进行自适应匹配调节; 其中,所述目标领域数据特性数据包括数据分布偏移度、领域语义复杂度及用户任务适配度指标;所述获取目标领域数据特性数据,对训练过程的学生模型性能参数、知识蒸馏参数以及目标领域数据特性数据进行大数据分析,并根据各参数之间的内在联系不断修正完善所述知识蒸馏参数与所述学生模型性能参数的非线性映射关系,包括: 获取目标领域数据的分布偏移度数据、语义复杂度数据和用户任务适配度指标,并从训练系统获取知识蒸馏参数和学生模型性能参数,其中,所述数据分布偏移度包括图像领域中的像素分布差异度或文本领域中的词向量空间距离,所述领域语义复杂度包括文本领域中的TFIDF分布熵或图像领域中的纹理梯度变化率,所述用户任务适配度指标包括目标检测任务中的平均精度均值或文本分类任务中的F1值; 对所述分布偏移度数据、所述语义复杂度数据、所述用户任务适配度指标、所述知识蒸馏参数和所述学生模型性能参数进行异常值检测,采用箱线图法识别离群点,对超出预设倍四分位距的数据进行平滑处理; 根据平滑处理后的数据,采用主成分分析法进行降维,提取主要特征变量; 利用主要特征变量,采用FP-growth算法进行关联规则分析,挖掘所述知识蒸馏参数、所述学生模型性能参数与目标领域数据特性之间的关联规则,得到若温度系数在指定范围且知识权重系数在指定范围,则用户任务适配度评分在指定值以上的规则; 采用自适应响应面法修正模型,通过中心复合试验设计生成新的采样点,利用加权最小二乘法拟合新的所述知识蒸馏参数与所述学生模型性能参数的非线性映射关系。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人飞诺门阵(北京)科技有限公司,其通讯地址为:100000 北京市海淀区中关村南大街乙12号天作国际中⼼A座29层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励