买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东师范大学申请的专利一种基于无数据知识蒸馏执行模型聚合的联邦学习系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116992957B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311205380.8，技术领域涉及：G06N3/098；该发明授权一种基于无数据知识蒸馏执行模型聚合的联邦学习系统是由王帅;高明设计研发完成，并于2023-09-19向国家知识产权局提交的专利申请。

本一种基于无数据知识蒸馏执行模型聚合的联邦学习系统在说明书摘要公布了：本发明公开了一种基于无数据知识蒸馏执行模型聚合的联邦学习系统，该系统不会对客户端增加除本地模型更新外的其他操作，充分利用服务端的丰富的计算资源，在服务端通过无数据知识蒸馏技术进行模型的聚合。无数据知识蒸馏模型聚合方法包括生成器训练和模型蒸馏两个过程，生成器训练过程将全局模型和本地模型参数固定，更新生成器；模型蒸馏过程将生成器和本地模型的参数固定，基于生成器当前生成的合成数据和数据缓冲区中的历史合成数据进行本地模型到全局模型的知识蒸馏。通过交替执行生成器训练和模型蒸馏两个过程，实现本地模型到全局模型的聚合。

本发明授权一种基于无数据知识蒸馏执行模型聚合的联邦学习系统在权利要求书中公布了：1.一种基于无数据知识蒸馏执行模型聚合的联邦学习系统，其特征在于，包括： 至少两个客户端，作为参与方参与到联邦训练中，在每一轮通信中与服务端进行通信，包括本地模型参数的上传和全局模型参数的下载；每个客户端上的本地模型和服务端上的全局模型拥有相同的神经网络模型架构，客户端首先将本地模型参数替换成当前通信轮次下获得的全局模型参数，再基于本地私有数据执行随机梯度下降算法更新本地模型，最后将更新后的本地模型参数以及本地训练数据集的标签统计信息上传到服务端，参与当前通信轮次的模型聚合； 一个服务端，为中央服务器与各客户端进行通信，在每一轮通信中先执行全局模型参数的分发，按照比例选择本通信轮次下参与到联邦训练的客户端，将全局模型参数分发给被选择的客户端，并接收客户端上传的本地模型参数以及本地训练数据集的标签统计信息，所述服务端首先将接收到的本地模型参数进行加权平均，得到一个初始的全局模型，再将客户端上传的本地训练数据集的标签统计信息进行聚合得到标签统计分布，接着采用无数据知识蒸馏方式迭代更新全局模型；所述服务端配置标签嵌入网络、生成器模型以及数据缓存区用于本地模型到全局模型的无数据知识蒸馏，无数据知识蒸馏方式涉及生成器训练和模型蒸馏两个过程，每个过程首先分别从高斯分布和标签统计分布中采样得到高斯噪声z和标签y，再将标签y输入到标签嵌入网络得到标签嵌入向量ey，该嵌入向量与从高斯噪声z进行拼接后得到向量h，并将其输入到生成器中，从而生成标签为y的合成数据；生成器训练过程直接将生成器生成的合成数据输入到本地模型和全局模型中，得到本地模型和全局模型的输出，并与合成数据的标签y一起构造保真损失函数迁移损失函数和多样损失函数来更新生成器的参数，以确保生成器生成的合成数据具有保真性、可迁移性以及多样性；所述数据缓存区用于存放模型蒸馏过程中生成器生成的合成数据，模型蒸馏过程将生成器生成的合成数据以及从数据缓存区中随机采样的合成数据一起输入到本地模型和全局模型中，得到本地模型和全局模型的输出，从而构造KL散度损失函数用于更新全局模型的参数，以确保本地模型的知识能够迁移到全局模型中； 客户端与服务端不断进行通信，直到所有客户端均至少被选择一次。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东师范大学，其通讯地址为：200241 上海市闵行区东川路500号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。