买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆邮电大学申请的专利基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119514727B 。

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411590369.2，技术领域涉及：G06N20/00；该发明授权基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法是由苏畅;李洋;谢显中设计研发完成，并于2024-11-08向国家知识产权局提交的专利申请。

本基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法在说明书摘要公布了：本发明涉及一种基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法，属于边缘计算技术领域。该方法通过在每个客户端上根据全局模型与局部模型之间的余弦相似度进行本地模型初始化，获取自适应初始化后的局部模型；在每个客户端上根据全局模型和历史局部模型分别进行知识蒸馏，通过双重知识蒸馏更新局部模型的参数；中央服务器接收参与训练的所有客户端上传的局部模型，并基于数据质量和客户端贡献度的双重动态聚合权重，得到最终的全局模型。本发明在处理数据异质性问题时能够显著提高模型的精度和收敛速度，并在多种边缘计算场景中表现出较好的适应性与鲁棒性。

本发明授权基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法在权利要求书中公布了：1.一种基于自适应本地模型初始化和双重知识蒸馏的个性化联邦学习方法，其特征在于：所述方法包括以下步骤： S1、搭建个性化联邦学习框架，其中，包括若干个客户端以及一种中央服务器； S2、在每个客户端上根据全局模型与局部模型之间的余弦相似度进行本地模型初始化，获取自适应初始化后的局部模型； S3、在每个客户端上根据全局模型和历史局部模型分别进行知识蒸馏，通过双重知识蒸馏更新局部模型的参数； 在步骤S3中，客户端局部模型根据全局模型和历史局部模型分别进行知识蒸馏，其中，在客户端进行本地模型训练时，将本地数据输入到全局模型、初始化之后的当前局部模型和历史局部模型中，并得到三种模型预测的逻辑值，分别为、和，客户端使用随机梯度下降方法，根据本地训练总损失的局部目标更新局部模型参数： 其中，是学习率，表示损失函数关于参数的梯度； 客户端本地训练包括三种不同的损失，分别为交叉熵损失、全局知识蒸馏的损失和自我知识蒸馏损失，其中，交叉熵损失用于衡量当前局部模型的与本地数据真实类别标签之间的差异： 全局知识蒸馏损失用于比较学生模型的输出概率分布与教师模型的输出概率分布两者之间的距离，在全局知识蒸馏中，作为教师而作为学生，全局知识蒸馏损失，其表示为： 其中，表示温度超参数；表示KL散度，其用于衡量两个概率分布之间差异； 客户端自我知识蒸馏中，采用作为教师而作为学生，自我知识蒸馏损失表示为： 使用不同超参数来权衡全局知识蒸馏和自我知识蒸馏的强度，则本地训练总损失表示为： 其中，和分别为全局知识蒸馏和自我知识蒸馏强度的参数； S4、中央服务器接收参与训练的所有客户端上传的局部模型，并基于数据质量和客户端贡献度的双重动态聚合权重，得到最终的全局模型； 在步骤S4中，包括以下步骤： S41、采用每个客户端的数据量占总数据量的比例来定义数据量权重： 其中，是客户端的样本数，是总的客户端数量； S42、通过香农熵定义数据分布多样性： 其中，是第类的标签在客户端数据中的占比，是类别总数；熵值越大，表明数据的标签分布越均匀，数据多样性越高；反之，数据多样性越低； S43、将数据量权重和数据分布多样性加权组合成一个综合的数据质量分数： 其中，和是调整数据量和数据多样性权重的系数，满足； S44、根据数据质量对接收到的局部模型进行初次聚合，得到初始聚合模型： S45、定义局部模型与全局模型之间的欧式距离作为客户端对联邦学习系统的贡献度： 其中，和分别代表模型参数向量的第个元素，表示客户端与全局模型之间的欧氏距离，距离越大，说明局部模型与全局模型之间的差距越大，对全局模型的贡献越低；为避免分母0的正常数；越大，相应客户端对联邦学习系统的贡献度越大； 通过对客户端贡献度归一化，在初始聚合模型的基础上，根据动态聚合权重得到最终的全局模型： 其中，表示客户端更新后的局部模型，表示聚合后的全局模型，上标表示全局与局部通信的轮次； 所述客户端和中央服务器进行模型训练时采用的数据集中的样本为手写数字图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆邮电大学，其通讯地址为：400065 重庆市南岸区黄桷垭崇文路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。