吉林大学马明获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉吉林大学申请的专利基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120952086B 。
龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511483472.1,技术领域涉及:G06N3/082;该发明授权基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法是由马明;李文辉;王子明;杜涛利设计研发完成,并于2025-10-17向国家知识产权局提交的专利申请。
本基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法在说明书摘要公布了:本发明适用于模型剪枝技术领域,提供了基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法。本发明提出基于动态对比掩码学习与相互知识蒸馏的动态剪枝框架来压缩深度神经网络模型。动态对比掩码学习通过对比学习将相似的掩码聚合并在特征空间中区分,生成二值化掩码;结合样本复杂度自适应因子,无需人工设定剪枝阈值,实现样本子网络的自适应剪枝。相互知识蒸馏利用子网络间相互学习实现知识迁移与特征增强,缓解剪枝过程中的特征信息丢失。该框架能在减小模型大小与计算开销、提升推理速度的同时,保持较高精度并提升模型性能与鲁棒性,适用于计算资源受限的场景,可在保证深度神经网络精度的前提下实现高效通道剪枝,进一步提升模型泛化能力。
本发明授权基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法在权利要求书中公布了:1.基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法,其特征在于,包括以下步骤: 针对输入样本构建代理任务引导掩码学习,输入样本为图像,具体包括:将训练过程建模为时间序列,以当前训练周期样本的掩码为锚点,结合前一训练周期样本的掩码构建正负示例; 设计含样本复杂度自适应因子的动态对比掩码损失函数,生成匹配输入样本复杂度的二值掩码,实现对不同输入样本的差异化剪枝; 基于子网络对输入样本的特征提取能力相似性,构建相互知识蒸馏机制,通过KL散度度量子网络对输入样本的预测分布一致性,实现子网络间知识迁移与协同学习,保障剪枝后模型性能; 其中,所述动态对比掩码损失函数的基础目标通过最大化正样本的平均对数似然优化,公式为: ; 其中,为当前训练周期掩码;为前一训练周期掩码;为前一训练周期掩码是当前训练周期掩码的正例的概率;表示正例;K表示整个网络的通道数;为第个通道;表示余弦相似度距离;为温度系数;k为第个通道; 所述构建代理任务步骤中,对于第个通道,样本在训练第个周期得到的掩码表示为,与在第个周期得到的掩码构成正掩码对,其余2K-1个掩码则被视为负掩码,其中K表示整个网络的通道数; 所述样本复杂度自适应因子的计算公式为: ; 其中,为样本复杂度自适应因子;为交叉熵损失的反向转化;和分别表示的最大值和最小值; 所述动态对比掩码损失函数引入L1正则项后,得到掩码对比损失: ; 其中,为掩码对比损失函数;表示样本总数;i为第i个样本;为权重平衡系数;为第e个训练周期得到的掩码。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人吉林大学,其通讯地址为:130012 吉林省长春市前进大街2699号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励