重庆邮电大学苏贞获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉重庆邮电大学申请的专利一种基于动量加速和误差反馈的联邦学习三元量化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119761428B 。
龙图腾网通过国家知识产权局官网在2025-12-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411827807.2,技术领域涉及:G06N3/0495;该发明授权一种基于动量加速和误差反馈的联邦学习三元量化方法是由苏贞;何龙;郭嘉伟;彭僖鳗设计研发完成,并于2024-12-12向国家知识产权局提交的专利申请。
本一种基于动量加速和误差反馈的联邦学习三元量化方法在说明书摘要公布了:本发明属于联邦学习通信开销优化领域,具体涉及一种基于动量加速和误差反馈的联邦学习三元量化方法,该方法包括:中央服务器下发模型参数,随机采样部分客户端接收模型,客户端本地进行模型更新,计算更新后的模型与更新前模型之间的差异Δ,将该差异Δ与误差e通过Ternary量化方法计算得到最后的压缩结果,更新本轮新误差,最后将压缩结果上传到中央服务器,服务器聚合参数后通过动量加速算法更新全局模型,以此执行多个轮次,最终得到训练好的目标模型。本发明在联邦学习基线模型上使用Ternary量化方法,大大降低了传输模型的开销,同时结合Adam动量加速和误差反馈机制,保证在降低通信开销的情况下,模型依然能快速收敛。
本发明授权一种基于动量加速和误差反馈的联邦学习三元量化方法在权利要求书中公布了:1.一种基于动量加速和误差反馈的联邦学习三元量化方法,其特征在于,包括以下步骤:中央服务器初始化待训练的模型参数,在每一轮训练过程中,随机采固定数量的客户端接收来自中央服务器发送的全局模型,这些客户端在本地执行多步随机梯度下降之后,计算训练之后的模型与中央服务器下发的模型之间的差异Δ,将该差异Δ与误差e一同通过ternary量化方法进行计算得到最后的压缩结果,同时更新该客户端当前训练轮次产生的新误差,而对于那些没有参与本次训练的客户端,误差保持和上一轮不变,最后参与训练的客户端将压缩结果上传到中央服务器,然后服务器聚合这些参数后通过动量加速算法更新全局模型,再将新的全局模型下发到下一轮参与训练的各个客户端,以此执行多个轮次,最终得到训练好的目标模型; 训练过程包括以下过程: S1、获得原始数据集,将其划分为训练集和测试集,对训练集的数据进行预处理:取数据集中前80%的数据作为训练数据集,在每轮epoch中,都会以固定的batch为单位打乱训练数据集进行分配;取后20%的数据作为测试数据集,在每轮epoch中,以固定的batch为单位按顺序分配数据; S2、初始化待训练的神经网络模型、全局迭代轮次epoch、全局学习率learningrate、所有参与训练的客户端数量num_users、每轮参与训练的客户端数量比例frac、本地迭代轮次local_epoch、本地学习率localrate参数; S3、中央器下发全局模型; S4、从所有客户端中随机采样frac比例的客户端,通过索引为选中的客户端分配训练数据和测试数据loader; S5、每个客户端通过已分配的数据在本地采用随机梯度下降优化器更新模型,计算本地更新模型与服务器下发模型之间的差异,聚合模型差异和初始为0的量化误差,采用ternary量化聚合之后的结果得到压缩模型,同时更新当前轮次的量化误差为量化前和量化后的差异,参与训练的客户端上传量化后的模型; S6、中央服务器聚合来自客户端的模型更新,通过Adam优化算法加速全局模型的更新,回到步骤S3; S7、通过测试数据集验证每个epoch训练的模型参数的效果; S8、重复上诉步骤,当满足全局迭代次数之后,结束训练,得到最后的训练模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人重庆邮电大学,其通讯地址为:400065 重庆市南岸区崇文路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励