买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳大学申请的专利基于结构性稀疏化的大语言模型联邦微调方法及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121031799B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511579029.4，技术领域涉及：G06N5/04；该发明授权基于结构性稀疏化的大语言模型联邦微调方法及相关设备是由崔来中;苏晓鑫;周义朋设计研发完成，并于2025-10-31向国家知识产权局提交的专利申请。

本基于结构性稀疏化的大语言模型联邦微调方法及相关设备在说明书摘要公布了：本申请属于模型训练技术领域，提供一种基于结构性稀疏化的大语言模型联邦微调方法及相关设备。本申请实施例通过本地样本数据对大语言模型和适配器模型进行训练，获得适配器模型的模型参数，模型参数包括低秩的第一参数矩阵和第二参数矩阵；分别对第一参数矩阵和第二参数矩阵进行结构性稀疏化处理，再对第一稀疏化矩阵和第二稀疏化矩阵相乘所得的稀疏适应矩阵进行元素级压缩处理，获得压缩矩阵信息；基于服务器发送的基于多个客户端的压缩矩阵信息进行聚合的目标压缩矩阵更新大语言模型的下一轮模型参数，并重复执行模型训练步骤，直至获得训练后的大语言模型。本申请能够减少应用于联邦LoRA微调场景下的压缩误差，且降低对LLM的微调产生负面影响。

本发明授权基于结构性稀疏化的大语言模型联邦微调方法及相关设备在权利要求书中公布了：1.一种基于结构性稀疏化的大语言模型联邦微调方法，其特征在于，应用于客户端，所述方法包括： 获取预训练的大语言模型和适配器模型； 通过本地样本数据对所述大语言模型和所述适配器模型进行训练，获得本轮训练后的所述适配器模型的模型参数；所述模型参数包括低秩的第一参数矩阵和第二参数矩阵； 分别对所述第一参数矩阵和所述第二参数矩阵进行结构性稀疏化处理，获得第一稀疏化矩阵和第二稀疏化矩阵；所述结构性稀疏化处理用于指示保留所述第一参数矩阵和所述第二参数矩阵中具有关键信息量的行向量或列向量；所述第一稀疏化矩阵和所述第二稀疏化矩阵分别是所述第一参数矩阵和所述第二参数矩阵的子矩阵； 对稀疏适应矩阵进行元素级压缩处理，获得本轮训练后的所述适配器模型的压缩矩阵信息；所述稀疏适应矩阵是基于所述第一稀疏化矩阵和所述第二稀疏化矩阵进行乘法运算得到； 将所述压缩矩阵信息发送至服务器，所述服务器基于多个客户端发送的压缩矩阵信息进行聚合，并将聚合后的目标压缩矩阵返回至各客户端； 基于所述目标压缩矩阵更新所述大语言模型的下一轮模型参数，并重复执行模型训练步骤，直至获得训练后的大语言模型； 其中，所述第一稀疏化矩阵是基于所述第一参数矩阵中的目标行向量构成，所述目标行向量是按照所述第一参数矩阵中各行向量的平方范数从大到小的顺序确定；所述第二稀疏化矩阵是基于所述第二参数矩阵中的目标列向量构成，所述目标列向量是按照所述第二参数矩阵中各列向量的平方范数从大到小的顺序确定。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳大学，其通讯地址为：518060 广东省深圳市南山区粤海街道南海大道3688号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。