买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学;江苏万维艾斯网络智能产业创新中心有限公司申请的专利面向小样本学习的知识蒸馏方法、装置及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116363423B 。

龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310297240.1，技术领域涉及：G06V10/764；该发明授权面向小样本学习的知识蒸馏方法、装置及存储介质是由李文斌;陈嘉言;任东东;霍静;高阳;余长州设计研发完成，并于2023-03-24向国家知识产权局提交的专利申请。

本面向小样本学习的知识蒸馏方法、装置及存储介质在说明书摘要公布了：本发明提供了一种面向小样本学习的知识蒸馏方法、装置及存储介质，涉及深度学习的计算机视觉应用领域。本发明具体包括三类方法：基于辅助分类器的蒸馏方法；基于图像局部特征的蒸馏方法；基于图像内部关系的蒸馏方法。新的知识蒸馏方法针对传统蒸馏在小样本学习任务中的局限性，从蒸馏损失的计算方式入手加以改进，利用图像中间层特征或辅助分类器的输出辅助师生模型间的知识迁移，更适应小样本学习包含大量随机任务的特点。本发明将新的蒸馏方法应用于小样本学习任务，在相关数据集上取得了具有竞争力的实验结果。特别是在使用轻量化设置的蒸馏实验中，所提方法对学生模型性能的提升效果更为显著。

本发明授权面向小样本学习的知识蒸馏方法、装置及存储介质在权利要求书中公布了：1.一种面向小样本学习的知识蒸馏方法，其特征在于，包括如下步骤： 步骤S1、将小样本图像数据集划分为类别空间互不重合的训练集、验证集、测试集； 步骤S2、基于常规分类任务预训练教师模型；对教师模型网络执行通道剪枝，得到轻量级的学生模型；具体包括： S2-1、对教师模型使用的完整特征提取网络进行通道剪枝，除最初输入、最后输出通道外，各层IO通道数减少50%，最终整体网络参数量缩减为原始教师模型的13； S2-2、剪枝后的轻量化网络参数重新初始化，作为学生模型从头开始训练；使用十二层残差网络作为教师模型的特征提取网络，在此基础上进行通道剪枝所得的轻量级网络作为学生模型的特征提取网络； 步骤S3、采用随机子任务模式进行小样本训练，每次只抽取固定数量的类别构造“N-wayK-shot”小样本分类任务，所抽取的图像样本划分为支持集和查询集； 步骤S4、每个任务包含的图像样本经过统一预处理后，分别通过教师和学习模型的特征提取网络，得到两组图像特征； 步骤S5、学生模型基于自身输出，完成小样本度量分类，并计算分类损失； 步骤S6、根据所选蒸馏方法，基于教师模型和学生模型的输出计算蒸馏损失；蒸馏损失计算利用模型提取的图像中间层特征或特征间关系或辅助分类器产生的固定分类概率进行蒸馏约束； 各方法蒸馏损失的具体计算方式如下： 基于辅助分类器的蒸馏：学生模型得到局部特征后，除完成小样本度量分类外，另将特征通过全局均值池化层和附加的辅助线性分类器，得到整个训练集类别空间上的固定分类概率S，与教师模型产生的同维分类概率T根据KL散度计算蒸馏损失： ； 基于图像局部特征的蒸馏：教师模型和学生模型对同一样本分别得到两组局部特征，其中各自包含n个同维特征向量；对应同一位置的特征向量之间两两计算KL散度，之后加和得到最终蒸馏损失： ； 式中，与分别表示学生模型和教师模型产生的局部特征向量，两者有着相同的维数，并对应着同一输入图像中的同一局部区域； 基于图像内部关系的蒸馏：教师模型和学生模型对同一样本分别得到两组局部特征后，各自在所得特征间两两计算余弦相似度，得到两组n*n的相似度矩阵，两相似度矩阵的均方误差作为蒸馏损失： ； 式中，和分别表示教师模型和学生模型产生的同维相似度矩阵，和表示教师模型和学生模型对同一图像区域i产生的局部特征向量，和表示教师模型和学生模型对同一图像区域j产生的局部特征向量； 步骤S7、分类损失与蒸馏损失加权求和，作为整体对学生模型进行回传更新。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学;江苏万维艾斯网络智能产业创新中心有限公司，其通讯地址为：210000 江苏省南京市栖霞区仙林大道163号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。