买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉安徽大学申请的专利一种通信高效的联邦学习多粒度分组微调方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119109943B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411044049.7，技术领域涉及：H04L67/12；该发明授权一种通信高效的联邦学习多粒度分组微调方法是由王怡欣;肖波;许柯;张兴义设计研发完成，并于2024-07-31向国家知识产权局提交的专利申请。

本一种通信高效的联邦学习多粒度分组微调方法在说明书摘要公布了：本发明公开了一种通信高效的联邦学习多粒度分组微调方法，涉及信息安全技术领域，解决了当前联邦学习的通信开销大以及在数据非独立同分布即Non‑IID场景下的模型性能弱的技术问题；本发明通过LoRA低秩参数矩阵构建客户端的预训练模型；客户端对参数矩阵B进行非对称性微调并将矩阵B上传至服务器；服务器进行多粒度分组并计算组内加权平均低秩矩阵；服务器对各客户端对应的专家门控参数进行加权平均得到平均专家门控参数，并用于全局模型的推理。本发明通过利用低秩适应矩阵的非对称性训练模型降低了LoRA的训练和通信开销，并且通过LoRA结合混合专家的训练方式提升了模型在Non‑IID场景下的精度。

本发明授权一种通信高效的联邦学习多粒度分组微调方法在权利要求书中公布了：1.一种通信高效的联邦学习多粒度分组微调方法，其特征在于，包括： S1：通过LoRA低秩参数矩阵构建客户端的预训练模型；其中，LoRA低秩参数矩阵包括参数矩阵A和参数矩阵B； S2：客户端对参数矩阵B进行非对称性微调并将参数矩阵B上传至服务器； S3：计算各客户端之间的相似度向量； S4：服务器进行多粒度分组并计算组内加权平均低秩矩阵； S5：客户端进行低秩混合专家设置并加载若干组低秩矩阵得到专家LoRA； S6：客户端通过低秩混合专家微调专家门控参数并上传至服务器； S7：服务器对各客户端对应的专家门控参数进行加权平均得到平均专家门控参数，并用于全局模型的推理； 所述服务器进行多粒度分组并计算组内加权平均低秩矩阵，包括： 使用相似度向量和K-Means算法将参数矩阵B进行多粒度分组，得到M个分组，将分组标记为i；对分组i中组内所有参数矩阵根据客户端对应的数据量进行加权平均，得到组内加权平均低秩矩阵并发送至客户端；其中，i=1，2，…，M，M为分组总数；多粒度分组的方式包括： 客户端粒度分组：对客户端内预训练模型所有层的相似度向量求平均向量，得到客户端粒度的相似度向量，然后再对客户端粒度的相似度向量使用K-Means算法分成M组； 模型块粒度分组：对同一客户端相同块内所有层的相似度向量求平均向量，得到模型块粒度的相似度向量，然后再对模型块粒度的相似度向量使用K-Means算法分成M组； 模型层粒度分组：直接对模型层粒度的相似度向量使用K-Means算法分成M组； 所述客户端通过低秩混合专家微调专家门控参数并上传至服务器，包括： 客户端冻结预训练模型和专家LoRA，冻结专家LoRA包括冻结参数矩阵A和参数矩阵；对客户端n的专家门控参数G进行微调，微调完成后将训练好的专家门控参数G上传至服务器；对于混合专家模型的专家门控而言，第i个专家LoRA的分配概率计算公式为： ； 其中，x为专家门控的输入，Gi为第i个专家LoRA对应的专家门控参数，e为自然常数，softmax函数用于计算专家门控单元的分配概率； 通过公式计算模型总输出；其中，为预训练模型参数矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人安徽大学，其通讯地址为：231200 安徽省合肥市肥西路3号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。