买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江工业大学申请的专利基于教师模型分类层权重的输出正则化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114782742B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210357826.8，技术领域涉及：G06V10/764；该发明授权基于教师模型分类层权重的输出正则化方法是由梅建萍;仇文豪设计研发完成，并于2022-04-06向国家知识产权局提交的专利申请。

本基于教师模型分类层权重的输出正则化方法在说明书摘要公布了：本发明涉及一种基于教师模型分类层权重的输出正则化方法，将完成监督训练的教师模型的分类层的权重转化为类别之间的相关性矩阵，以矩阵中的每一行作为对应类别的软标签，为学生模型提供额外的信息并参与学生模型的训练；选择准确率最高的学生模型作为最终目标模型。本发明充分利用教师模型所提供的信息，减少在训练过程中教师模型占用训练资源过大、整体训练时间过长的问题，即使某些神经网络模型仅能够提供教师模型分类器层的权重，也可以通过本方法进行学生模型的训练，具有更高的分类准确率与更广的模型适用性，具有更快的训练速度，且只需要更少的训练资源，能够在资源较少的情况下，对网络模型做进一步的正则化。

本发明授权基于教师模型分类层权重的输出正则化方法在权利要求书中公布了：1.一种基于教师模型分类层权重的输出正则化方法，其特征在于：所述方法包括以下步骤： 步骤1：获取带有标签的数据集，并划分为训练集和验证集； 步骤2：对数据集的所有数据进行预处理； 步骤3：获取预设的教师模型或构建教师模型； 步骤4：基于所述教师模型的分类层权重，获得软标签矩阵，包括以下步骤： 步骤4.1：对于所述教师模型，保留其分类层的权重矩阵W，其维度为k×C，k为分类层输入数据的特征维度，C为当前数据集类别大小； 步骤4.2：通过式2将所述权重矩阵W转变为类别相关的软标签矩阵Q， Q＝σWTW2 其中，σ.为softmax函数，Q的维度为C×C； 步骤4.3：使用重启随机游走算法，以式3对当前的软标签矩阵进行迭代计算，从而得到S， s＝uQs+1-us3 其中，s表示S各行的概率分布，维度大小为1×C，u为恢复到原始向量的概率，u可调，u∈0,1； 步骤4.4：若迭代次数达到预设最大值或满足ϵ1e-6，则停止迭代，输出稳定后的矩阵S，否则，迭代次数加1，返回步骤4.3； 其中，ϵ＝normL1Si-Si-1，为每次迭代中矩阵S与上一次迭代中的u的差值的L1范数大小，i用于计数且i不大于迭代次数的预设最大值，Si为当前迭代中计算得到的S，Si-1为上一次迭代中计算得到的S，第一次迭代中，Si-1为Q； 步骤5：基于所述软标签矩阵，训练目标模型，包括以下步骤： 步骤5.1：选取参数量小于教师模型的网络模型，在当前数据集上进行训练；按式6设置损失函数， Ltsr＝αLce+βLt6 其中，α和β为权重系数，α∈0,3],β∈0,3]，Lce为交叉熵损失函数，Lt为KL散度函数，如式5， 其中，sl为当前训练数据对应软标签矩阵S中第l行类别相关的标签向量，sc,l为当前训练数据对应软标签矩阵S中第l行第c类别相关的标签向量； 步骤5.2：选取随机梯度下降算法优化器，对模型进行预设个数次迭代，存储最后一次迭代的模型； 步骤6：调整若干次参数，并重复步骤4和步骤5，选择准确率最高的学生模型作为最终目标模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市拱墅区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。