买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华中科技大学申请的专利一种基于结构特征知识的知识蒸馏方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115496213B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211014591.9，技术领域涉及：G06N3/096；该发明授权一种基于结构特征知识的知识蒸馏方法及系统是由李瑞轩;王帅帅;王号召;李玉华;辜希武设计研发完成，并于2022-08-23向国家知识产权局提交的专利申请。

本一种基于结构特征知识的知识蒸馏方法及系统在说明书摘要公布了：本发明公开了一种基于结构特征知识的知识蒸馏方法及系统，属于模型压缩技术领域，包括：S1、搭建学生网络和教师网络；其中，教师网络加载有训练好的模型，为全精度神经网络；学生网络为二值神经网络；S2、将预先采集好的第二训练样本集分别输入至学生网络和教师网络中，通过同时最小化学生网络和教师网络的中间层特征之间的差异、以及学生网络和教师网络中关系特征之间的差异，对学生网络和教师网络进行训练，从而实现对教师网络的模型压缩。通过上述过程，本发明能够缩小师生网络在中间结构上存在巨大差异，以解决由于分布差异问题导致的知识迁移受限及学生网络的过拟合问题，神经网络模型压缩的准确度较高。

本发明授权一种基于结构特征知识的知识蒸馏方法及系统在权利要求书中公布了：1.一种基于结构特征知识的知识蒸馏方法，应用于图像分类任务中，其特征在于，包括以下步骤： S1、搭建学生网络和教师网络；其中，教师网络加载有训练好的用于图像分类任务的模型，为全精度神经网络；学生网络为二值神经网络； S2、将预先采集好的第二训练样本集分别输入至学生网络和教师网络中，通过同时最小化学生网络和教师网络的中间层特征之间的差异、以及学生网络和教师网络中关系特征之间的差异，对学生网络和教师网络进行训练，从而实现对教师网络的模型压缩，以根据压缩后的模型进行图像分类；所述第二训练样本集为用于图像分类任务的图像样本集； 所述最小化学生网络和教师网络的中间层特征之间的差异时的损失函数为： 其中，{S，T}，当为S时，表示学生网络，记为网络S；当为T时表示教师网络，记为网络T；为教师网络中间层输出的中间层特征；为学生网络中间层输出的中间层特征；2表示2范数；表示网络的交叉熵损失函数；为在步骤S2的训练过程中输入第二训练样本的数量；为第j个第二训练样本所对应的真实标签；为输入第j个第二训练样本时网络的输出；为网络输出的logits； 所述学生网络和教师网络中关系特征之间的差异包括：学生网络与教师网络中样本关系特征之间的差异和学生网络与教师网络中层间关系特征之间的差异； 最小化样本关系特征之间的差异时的损失函数为： 为在步骤S2的训练过程中同一批次下的第二训练样本输入到教师网络第p层后所得特征图两两之间的相似程度所构成的相似度矩阵；为在步骤S2的训练过程中同一批次下的第二训练样本输入到学生网络第q层后所得特征图两两之间的相似程度所构成的相似度矩阵；表示要学习的对的集合；为集合中对的数量；表示F范数的平方； 最小化层间关系特征之间的差异时的损失函数为： 为输入第j个第二训练样本时教师网络中任意两层所得特征图之间的关系矩阵集合中的第c个关系矩阵；为输入第j个第二训练样本时学生网络中任意两层所得特征图之间的关系矩阵集合中的第c个关系矩阵；为第c个关系矩阵所对应的权重系数；M为输入第j个第二训练样本时教师网络中任意两层所得特征图之间的关系矩阵集合中关系矩阵的数量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华中科技大学，其通讯地址为：430074 湖北省武汉市洪山区珞喻路1037号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。