北京邮电大学徐梦炜获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京邮电大学申请的专利一种面向预训练模型的联邦学习方法、装置及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115454538B 。
龙图腾网通过国家知识产权局官网在2026-01-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211285526.X,技术领域涉及:G06F9/445;该发明授权一种面向预训练模型的联邦学习方法、装置及系统是由徐梦炜;蔡栋琪;周傲;马骁;王尚广设计研发完成,并于2022-10-20向国家知识产权局提交的专利申请。
本一种面向预训练模型的联邦学习方法、装置及系统在说明书摘要公布了:本申请实施例公开了一种面向预训练模型的联邦学习方法、装置及系统,包括:云端服务器为预训练的自然语言处理模型,生成多个不同的微调训练插件;云端服务器基于预设的所述微调训练插件与端侧设备集群的对应关系,将所述微调训练插件发送给对应的端侧设备集群中的端侧设备,以使所述端侧设备将所述微调训练插件置入所述预训练的自然语言处理模型,进行微调训练,得到微调训练结果;云端服务器将所述微调训练结果聚合后,基于聚合结果更新所述微调训练插件,重新发送给对应的端侧设备集群中的端侧设备进行微调训练,直到所述微调训练结果达到预设准确率阈值为止。这样,在保证模型微调精度及微调数据安全的前提下,提升模型进行微调训练的效率。
本发明授权一种面向预训练模型的联邦学习方法、装置及系统在权利要求书中公布了:1.一种面向预训练模型的联邦学习方法,其特征在于,所述方法包括: a、对应一预训练的自然语言处理模型,生成多个不同的微调训练插件; b、基于预设的所述微调训练插件与端侧设备集群的对应关系,将所述微调训练插件发送给对应的端侧设备集群中的端侧设备,以使所述端侧设备将所述微调训练插件置入所述预训练的自然语言处理模型,进行微调训练,得到微调训练结果,其中,所述对应关系包括:对于每个所述微调训练插件,对应设置一端侧设备集群,在所述端侧设备集群中包括随机选取的多个所述端侧设备; c、将从所述端侧设备集群中的所述端侧设备接收的所述微调训练结果聚合,根据所述聚合的所述微调训练结果,更新所述微调训练插件,返回步骤b继续执行,直到所述微调训练插件的微调训练结果达到预设准确率阈值为止; 其中, 所述以使所述端侧设备将所述微调训练插件置入所述预训练的自然语言处理模型中,进行微调训练包括: 所述端侧设备预先缓存所述预训练的自然语言处理模型及所述预训练的自然语言处理模型的预训练参数, 所述端侧设备调用所述缓存的所述预训练的自然语言处理模型,将所述微调训练插件置入后,对所述预训练的自然语言处理模型进行微调训练,且保持所述预训练的自然语言处理模型的预训练参数不变。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京邮电大学,其通讯地址为:100876 北京市海淀区西土城路10号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励