同济大学朱亚萍获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉同济大学申请的专利一种基于自监督学习的联邦机器学习方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116402124B 。
龙图腾网通过国家知识产权局官网在2026-02-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310088967.9,技术领域涉及:G06N3/098;该发明授权一种基于自监督学习的联邦机器学习方法是由朱亚萍;邱颖;赵生捷设计研发完成,并于2023-02-09向国家知识产权局提交的专利申请。
本一种基于自监督学习的联邦机器学习方法在说明书摘要公布了:本发明提供一种基于自监督学习的联邦机器学习方法。该方法提出一种联邦学习通用架构,将机器学习模型总体结构分为编码器、映射头和预测头三部分。其中编码器可为任意通用网络架构,如CNN、ResNet等;预测头为一层全连接层;映射头部分由线性层、BatchNormalizationBN层、relu激活函数及另一个线性层组成。客户端进行本地训练时,计算本地模型与全局模型经过映射头输出后两者之间的余弦相似度,并将此项引入本地模型训练的损失函数中,缩小全局模型输出与本地模型输出之间的差距,以此缓解数据异质性对联邦学习精度的不利影响。
本发明授权一种基于自监督学习的联邦机器学习方法在权利要求书中公布了:1.一种基于自监督学习的联邦机器学习方法,其特征在于:该方法将机器学习模型分为编码器、映射头和预测头三部分,在由MLP组成的映射头部分引入BatchNormalizationBN层,并将数据分别经过全局模型与本地模型映射头的输出之间的余弦相似度,引入本地训练的损失函数中; 该方法包括如下步骤: 1服务器对全局模型进行初始化,并且设置一个客户端参与率,根据客户端参与率随机选择本轮用于训练的客户端,然后将模型参数下发给选中的客户端; 2客户端接收服务器下发的全局模型参数并将其用于本地模型初始化,利用本地模型的监督学习损失及其与全局模型之间的对比损失之和更新模型,随后将模型参数上传到服务器; 3服务器接收客户端上传的模型参数后,按照客户端数据集占总数据集大小的比例对模型参数进行聚合,随后按照设定的客户端参与率重新选择下一轮参与训练的客户端,并开始下一轮模型参数训练; 所述步骤2中客户端训练本地模型,本地训练损失由监督学习中的交叉熵损失以及本地模型与全局模型映射头输出之间的对比损失两部分组成: 第一部分是监督学习中的交叉熵损失,第二部分是模型的对比损失; 对于输入对,为数据对应的标签,其损失计算如下: 2 其中,表示第轮的全局模型权重参数,为客户端在第轮的模型权重参数,为控制对比损失权重的超参数; 对于个类别的分类问题,的计算为 3 其中,表示经过本地编码、映射头及预测头后输出的对应个类别的概率,表示预测输出对应类别为的概率,为一个值为0或1的布尔变量,定义如下: 4 对于位于客户端本地数据集中的数据x,表示x经过本地编码器及映射头后的输出,表示x经过全局模型的映射头的输出;全局模型与局部模型之间的对比损失定义为: 5 其中,代表与之间的点积,与分别代表与的模; 本地模型的优化目标为 6 表示第轮的全局模型权重参数,为客户端在第轮的模型权重参数,客户端的本地数据集;第一部分监督学习中的交叉熵损失,第二部分模型对比损失项。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人同济大学,其通讯地址为:200092 上海市杨浦区四平路1239号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励