西安电子科技大学王利娟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安电子科技大学申请的专利基于联邦学习框架的非独立同分布数据处理方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115858675B 。
龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211547406.2,技术领域涉及:G06F16/27;该发明授权基于联邦学习框架的非独立同分布数据处理方法是由王利娟;王欢设计研发完成,并于2022-12-05向国家知识产权局提交的专利申请。
本基于联邦学习框架的非独立同分布数据处理方法在说明书摘要公布了:本发明公开了一种基于联邦学习框架的非独立同分布数据处理方法,其步骤为:在客户端上基于Wasserstein距离构建了相似度计算方法并聚合数据分布相近的客户端,在服务器上构建了集成模型计算方法,对由所有客户端模型平均加权得到的全局模型进行微调,在模型参数传递过程中分别通过参数掩码技术和注意力机制技术来最小化整体系统的通信成本和计算成本。本发明在对非独立同分布数据处理的过程中有效消除了由非独立同分布数据导致的模型偏差问题,增强了模型的性能表现,也显著降低了整体系统的通信开销与能量损耗。
本发明授权基于联邦学习框架的非独立同分布数据处理方法在权利要求书中公布了:1.一种基于联邦学习框架的非独立同分布数据处理方法,其特征在于,针对非独立同分布数据,基于联邦学习框架分别在客户端、服务器,以及模型参数的传递过程中进行相应的处理;该方法的具体步骤包括如下: 步骤1,每个客户端基于Wasserstein距离聚合相近客户端得到其合成参数: 步骤1.1,每个客户端利用列表存储模型的预测层参数,再上传给服务器端,服务器端接收全体客户端模型的预测层参数; 步骤1.2,服务器端打包所有的预测层参数,再发送给每个客户端; 步骤1.3,每个客户端接收到所有客户端的预测层参数,根据Wasserstein距离公式,计算每个客户端与其他客户端的预测层参数之间的Wasserstein距离; 步骤1.4,将每个客户端与其他客户端的所有Wasserstein距离按照从小到大排序,选择排序中前M个客户端组成该客户端的相近客户端,其中M大于或等于5; 步骤1.5,计算每个客户端的合成参数; 步骤2,基于合成参数计算每个客户端的损失: 步骤2.1,利用类重要性公式,计算每个客户端私有数据与全体训练数据集中每个类别数据样本的比率因子,所述的全体训练数据集是指所有客户端上私有数据的汇总; 步骤2.2,计算每个客户端的合成参数与当前客户端模型参数的相对熵距离,再通过随机梯度下降算法训练当前客户端模型; 步骤3,利用构建的服务器端集成模型对全局模型进行微调: 步骤3.1,服务器对接收所有客户端的模型参数,通过加权计算方法得到服务器端集成模型; 步骤3.2,服务器端根据每个客户端的模型参数,通过比率计算方法,分别计算每个客户端的集成比率; 步骤3.3,由全体训练数据集中针对每个类别的数据样本采样100个数据样本,随机打乱所有采样后的数据样本次序后再将其全部打包合并成辅助数据集; 步骤3.4,在服务器端分别对集成模型和通过平均相加再相乘所有客户端模型得到的全局模型之间计算相对熵距离损失,先将集成模型和全局模型的参数除于其各自对应的平方和,再使用相对熵距离公式计算集成模型参数和全局模型参数之间的距离数值; 步骤3.5,通过随机梯度下降算法更新全局模型对应的参数值; 步骤4,通过参数掩码和注意力机制优化模型参数的传递过程: 步骤4.1,每个客户端设置与当前客户端模型参数大小相等的参数掩码矩阵,并将该参数掩码矩阵的初始元素值均设置为1; 步骤4.2,将当前客户端模型与参数掩码矩阵相乘得到新的参数矩阵,利用当前客户端私有数据重新训练该新的参数矩阵,使用随机梯度下降算法更新该新的参数矩阵,每个客户端上传训练后的参数矩阵到服务器; 步骤4.3,服务器端接收到所有经过参数掩码压缩后的客户端模型参数,再通过注意力机制计算方法为每个客户端的模型参数赋予不同的加权比率。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安电子科技大学,其通讯地址为:710071 陕西省西安市太白南路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。