买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利知识蒸馏方法及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120932073B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511449445.2，技术领域涉及：G06V10/82；该发明授权知识蒸馏方法及电子设备是由温东超;赵健;崔星辰;张英杰;史宏志设计研发完成，并于2025-10-11向国家知识产权局提交的专利申请。

本知识蒸馏方法及电子设备在说明书摘要公布了：本发明提供了一种知识蒸馏方法及电子设备，可以应用于人工智能技术领域。该知识蒸馏方法包括：分别确定用于教师网络的多个第一注意力图，用于学生网络的多个第二注意力图；对基于多个第一注意力图拼接得到的第一拼接矩阵和基于多个第二注意力图拼接得到的第二拼接矩阵进行维度归一化，得到维度相同的第一注意力矩阵和第二注意力矩阵；根据第一注意力矩阵的矩阵特征和第二注意力矩阵的矩阵特征，确定用于从第一注意力图向第二注意力图进行知识蒸馏的多重蒸馏损失；在学生网络的训练过程中，根据多重蒸馏损失和学生网络的任务损失，调整学生网络的模型参数，直至用于训练学生网络的样本集的样本均被轮询，得到目标学生网络。

本发明授权知识蒸馏方法及电子设备在权利要求书中公布了：1.一种知识蒸馏方法，其特征在于，所述方法包括： 分别确定用于教师网络的多个第一注意力图，用于学生网络的多个第二注意力图； 对基于所述多个第一注意力图拼接得到的第一拼接矩阵和基于所述多个第二注意力图拼接得到的第二拼接矩阵进行维度归一化，得到维度相同的第一注意力矩阵和第二注意力矩阵； 根据第一注意力矩阵的矩阵特征和所述第二注意力矩阵的矩阵特征，确定用于从第一注意力图向所述第二注意力图进行知识蒸馏的多重蒸馏损失； 在学生网络的训练过程中，根据所述多重蒸馏损失和所述学生网络的任务损失，调整所述学生网络的模型参数，直至用于训练所述学生网络的样本集的样本均被轮询，得到目标学生网络，所述样本集包括训练样本和样本标签，所述任务损失用于描述所述学生网络根据所述训练样本的输出结果与所述样本标签之间的差异； 其中，所述根据第一注意力矩阵的矩阵特征和所述第二注意力矩阵的矩阵特征，确定用于从第一注意力图向所述第二注意力图进行知识蒸馏的多重蒸馏损失，包括： 利用主成分分析法分别确定所述第一注意力矩阵和所述第二注意力矩阵的特征向量，并根据所述特征向量确定所述第一注意力图和所述第二注意力图的第一重蒸馏损失，所述第一重蒸馏损失用于描述所述第一注意力图和所述第二注意力图的注意力模式差异； 根据所述第一注意力矩阵和所述第二注意力矩阵的图分布特征，确定所述第一注意力图和所述第二注意力图的第二重蒸馏损失，所述第二重蒸馏损失用于描述所述第一注意力图和所述第二注意力图的统计差异； 根据所述第一注意力矩阵与所述第二注意力矩阵的注意力分布特征，确定所述第一注意力图和所述第二注意力图的第三重蒸馏损失，所述第三重蒸馏损失用于描述所述第一注意力图和所述第二注意力图的注意力分布差异。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。