华中科技大学李瑞轩获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华中科技大学申请的专利一种加权聚合的联邦蒸馏方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115526334B 。
龙图腾网通过国家知识产权局官网在2026-01-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211067316.3,技术领域涉及:G06N3/096;该发明授权一种加权聚合的联邦蒸馏方法及系统是由李瑞轩;王号召;詹帆;李玉华;辜希武设计研发完成,并于2022-09-01向国家知识产权局提交的专利申请。
本一种加权聚合的联邦蒸馏方法及系统在说明书摘要公布了:本发明公开了一种加权聚合的联邦蒸馏方法及系统,属于联邦学习技术领域;本发明通过中心服务器端将本地生成器分别下发给各客户端,并在各客户端中分别将其中的本地生成器进行分布式训练,最后再返回给中心服务器端进行全局聚合以来模拟全局数据分布,从而代替了直接引入外源数据,从未提高了联邦蒸馏方法的可用性;此外,本发明还在各客户端中均引入了一个小型的判别器,通过训练使其输出蒸馏数据在本地数据中对应的概率密度,并以此概率密度进行加权平均,获取准确度更高的教师软标签,来提升蒸馏效率和训练所得模型精度,从而提高了数据集非独立同分布场景下联邦学习训练模型的准确率。
本发明授权一种加权聚合的联邦蒸馏方法及系统在权利要求书中公布了:1.一种加权聚合的联邦蒸馏方法,其特征在于,包括: 在中心服务器端执行以下步骤: A1、从客户端集合中随机挑选K个客户端,并分别对全局随机变量、本地训练模型和本地生成器进行初始化; A2、将全局随机变量、本地训练模型和本地生成器分别下发到所挑选的K个客户端中; A3、将全局随机变量输入到本地生成器中,得到全局蒸馏数据;待收集到K个客户端返回的全局蒸馏数据所对应的概率密度、以及训练好的本地生成器和本地训练模型后,将K个客户端所返回的本地训练模型进行参数平均,得到聚合模型; 将全局蒸馏数据分别输入到K个客户端所返回的本地训练模型中,并以K个客户端返回的全局蒸馏数据所对应的概率密度为权重,对各本地训练模型的输出进行加权平均;采用K个客户端所返回的本地训练模型所构成的教师网络集及所得加权平均结果对所述聚合模型进行知识蒸馏; A4、从客户端集合中重新随机挑选K个客户端;随机更新全局随机变量,并将本地训练模型更新为所述聚合模型,将本地生成器更新为将K个客户端所返回的本地生成器进行参数平均后的模型; A5、重复步骤A2-A4进行迭代,直至达到预设迭代次数; 其中,每一个客户端中均设置有本地判别器;当客户端接收到中心服务器下发的全局随机变量、本地训练模型和本地生成器后,在客户端中执行以下操作: B1、将接收到的全局随机变量输入到接收到的本地生成器中,得到全局蒸馏数据; B2、将客户端中的本地数据集输入到其接收到的本地训练模型中进行训练;将客户端中的本地数据集输入到其接收到的本地生成器和其内部的本地判别器所构成的GAN模型中进行对抗训练;将所得全局蒸馏数据输入至训练好的本地判别器中得到全局蒸馏数据所对应的概率密度; B3、将全局蒸馏数据所对应的概率密度、以及训练好的本地生成器和本地训练模型返回给中心服务器中。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华中科技大学,其通讯地址为:430074 湖北省武汉市洪山区珞喻路1037号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励