买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉河海大学申请的专利一种基于知识蒸馏的深度神经网络模型压缩方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116796810B 。

龙图腾网通过国家知识产权局官网在2026-02-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310769582.9，技术领域涉及：G06N3/0495；该发明授权一种基于知识蒸馏的深度神经网络模型压缩方法及装置是由叶保留;管晨枫;屈志昊设计研发完成，并于2023-06-28向国家知识产权局提交的专利申请。

本一种基于知识蒸馏的深度神经网络模型压缩方法及装置在说明书摘要公布了：本发明公开了一种基于知识蒸馏的深度神经网络模型压缩方法及系统，所述方法包括：对样本图像数据进行预处理；基于预处理后的样本图像数据预训练教师网络模型；利用预训练后的教师网络模型提取待分类图像的空间注意力特征，基于各通道基本特征利用自注意力机制获得空间相关性特征，二者结合得到空间注意力特征；使用同样的方法提取学生网络空间注意力特征；利用空间注意力特征，依据细粒度层权重指导学生网络模型的训练，迭代蒸馏学生网络模型直至其收敛，其中以λjj表示所选择的教师和学生网络n个中间层中的第j层的权重，细粒度层权重被设置为λ11＜λ22＜…＜λnn；保存学生神经网络模型用于进行图像分类预测。本发明具有更快更准确的优点。

本发明授权一种基于知识蒸馏的深度神经网络模型压缩方法及装置在权利要求书中公布了：1.一种基于知识蒸馏的深度神经网络模型压缩方法，其特征在于，包括以下步骤： 对样本图像数据进行预处理，包括消除无关信息、增强有关信息的可检测性、标注标签； 基于预处理后的样本图像数据预训练教师网络模型； 利用预训练后的教师网络模型提取待分类图像的空间注意力特征，包括：获取教师网络模型每个通道输出的基本特征，基于各通道基本特征利用自注意力机制获得空间相关性特征，将空间相关性特征与基本特征结合得到教师网络空间注意力特征；使用同样的方法提取学生网络空间注意力特征； 利用提取的空间注意力特征，依据细粒度层权重指导学生网络模型的训练，迭代蒸馏学生网络模型直至学生网络模型收敛，其中以λj表示所选择的教师和学生网络n个中间层中的第j层的权重，所述细粒度层权重被设置为λ1λ2…λn；迭代蒸馏学生网络模型包括： 结合教师网络模型提取的教师网络空间注意力特征和学生网络模型提取的学生网络空间注意力特征建立蒸馏项 构建网络中间层的特征分类损失函数Mean表示对于教师网络与学生网络空间注意力特征蒸馏项lj求和后做平均； 结合真标签的分类损失lrls、教师网络模型生成软标签的分类损失lsls，得到学生网络模型的总损失函数：lstudent＝lrls+αlsls+βlsad，α和β是权衡参数； 利用该总损失函数训练训练学生网络模型； 保存所述学生神经网络模型用于进行图像分类预测。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人河海大学，其通讯地址为：211100 江苏省南京市江宁区佛城西路8号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。