买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海科技大学申请的专利基于个性化Transformer的联邦学习模型训练方法及联邦学习系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115600686B 。

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211271384.1，技术领域涉及：G06N20/00；该发明授权基于个性化Transformer的联邦学习模型训练方法及联邦学习系统是由石野;李红霞;蔡中一;汪婧雅设计研发完成，并于2022-10-18向国家知识产权局提交的专利申请。

本基于个性化Transformer的联邦学习模型训练方法及联邦学习系统在说明书摘要公布了：本发明公开了一种基于个性化Transformer的联邦学习系统。本发明的另一个技术方案是提供了一种基于个性化Transformer的联邦学习模型训练方法。本发明为每个客户端学习一个独特的自注意力层，而其他层的参数在客户端之间共享。此外，本发明通过在服务器上训练一个超网络，以生成自注意力层中的投影矩阵，从而获得与客户端相关的查询、键和值。这种超网络有效维护了客户端之间参数共享，同时保持了个性化Transformer的灵活性。因此本发明大大提升了联邦学习在数据异构环境下的推理预测能力。

本发明授权基于个性化Transformer的联邦学习模型训练方法及联邦学习系统在权利要求书中公布了：1.一种基于个性化Transformer的联邦学习系统，包括一个服务器和若干客户端，其特征在于，根据不同的执行任务，每个客户端选择相应的Transformer结构作为本地模型，将客户端i的模型参数θ分解为θ＝{W,ξ}，其中，W为Transformer中自注意力层的投影矩阵，ξ为Transformer中除自注意力层外其余层的参数； 服务器储存有一个超网络以及与每个客户端对应的嵌入向量； 在联邦学习的第k个通信轮次中： 客户端i从服务器上下载第k-1个通信轮次更新聚合的参数利用位于服务器的超网络生成客户端i的投影矩阵W，其中：为超网络的参数；z为超网络的输入，是客户端i可学习的嵌入向量； 客户端i利用本地数据B对初始化后的模型进行本地训练其中：为客户端i第k个通信轮次更新后的模型参数；α为学习率；为关于参数θ的梯度算子；表示为l·,·为交叉熵损失函数，fθi；·为客户端i的个性化模型，为训练样本的特征，为训练样本的标签； 将更新后的模型参数分解为其中，Wik为本地模型中自注意力层的投影矩阵，为本地模型中除自注意力层外其余层的参数； 将模型参数Wik保留在客户端i本地，用于储存客户端i的个性化信息；将参数差ΔWi＝Wik-Wik-1和上传到服务器，分别进行参数更新和聚合以获得其他客户端上的有利信息，得到第k个通信轮次的全局参数其中，N为客户端的数量，mi为客户端i的本地数据量，M为所有客户端的总体数据量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海科技大学，其通讯地址为：201210 上海市浦东新区华夏中路393号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。