买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院信息工程研究所申请的专利一种基于多学生讨论的知识蒸馏方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114049513B 。

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111120541.4，技术领域涉及：G06V10/82；该发明授权一种基于多学生讨论的知识蒸馏方法和系统是由王蕊;刘俐君;吕飞霄设计研发完成，并于2021-09-24向国家知识产权局提交的专利申请。

本一种基于多学生讨论的知识蒸馏方法和系统在说明书摘要公布了：本发明公开了一种基于多学生讨论的知识蒸馏方法和系统。该方法的步骤包括：1选取复杂网络ResNet32x4作为知识蒸馏的教师模型，对教师模型进行预训练；2进行知识蒸馏，采用单老师多学生的蒸馏模式，多个小型学生网络的参数分别初始化并独立训练，分别学习来自教师网络的知识；3借助讨论模块使得学生网络相互讨论，以各个学生模型的logits输出作为其输入，采用多层卷积神经网络，将各个学生网络的输出耦合在一起，输出最终的类别预测；4将待分类的图像输入学生网络，再经过学生之间的讨论得到最终的图像分类结果。本发明大大提高了图像分类的准确率，并改善了知识蒸馏领域中师生模型表达能力差异较大的情况。

本发明授权一种基于多学生讨论的知识蒸馏方法和系统在权利要求书中公布了：1.一种基于多学生讨论的知识蒸馏方法，其特征在于，包括以下步骤： 对教师网络进行预训练； 采用单老师多学生的蒸馏模式，利用预训练的教师网络对多个学生网络进行知识蒸馏的训练；所选取的多个学生网络的架构各异，使得蒸馏之后的中间结果具有多样性；在蒸馏过程中采用各个学生网络并行训练的模式，各个学生网络之间相互独立，没有参数共享； 将多个学生网络产生的图像分类预测结果输入讨论模块，对讨论模块进行图像分类的训练； 将待分类的图像输入经过训练完成的学生网络，利用不同的学生网络产生对同一张图像的不同预测，再经过训练完成的讨论模块，经过讨论不同的学生网络协商一致，输出最终的图像分类结果； 所述单老师多学生的蒸馏模式中，每个学生网络的蒸馏过程包括：定义教师网络最后一个全连接层的输出的logits向量为z，令zi表示第i个类别的logit，那么输入属于第i个类别的概率pi是由softmax函数估计： 据此，教师网络获得的软目标的预测包含暗知识，能够作为监督信息将知识从教师网络转移到多个学生网络；并引入温度因子T来控制每个软目标的重要性： 其中，较高的温度会产生更柔和的概率分布；当T→∞时所有类共享相同的概率，当T→0时软目标成为one-hot的标签，即硬目标；来自教师网络的软目标和真实标签分别作为蒸馏损失和学生损失共同指导学生网络的优化； 每个学生网络的蒸馏损失被定义为匹配教师网络和学生网络之间的交叉熵，即： 其中z和z分别是教师网络和学生网络的logits，该公式使得教师网络的logits与学生网络的logits相匹配； 学生网络自身的分类损失是真实标签和学生网络的输出结果之间的交叉熵，其公式表示为： 其中y是真实标签的向量，其中只有一个元素为1，代表迁移训练样本的groundtruth标签，其他元素为0；在蒸馏损失和学生网络自身的分类损失中，都使用学生网络的相同logits，但温度系数不同，学生网络分类损失中的温度系数为T＝1，蒸馏损失中的温度系数为T＝t，多学生知识蒸馏中每个学生网络最终的损失是蒸馏损失和分类损失的联合： Lx,W＝α*Lpz,T,pz,T+1-α*Ly,pz,T 其中x是CIFAR100数据集中训练集上的训练输入，W是学生网络的参数，α是调节参数用于平衡二者的权重； 所述讨论模块以各个学生网络的logits输出作为其输入，采用CNN网络的架构将各个学生网络的输出耦合在一起，利用CNN网络包含的卷积层、池化层以及其非线性激活的特性，捕获各个学生网络的优势类别，最终输出准确的类别预测。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院信息工程研究所，其通讯地址为：100093 北京市海淀区闵庄路甲89号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。