浙江大学宋明黎获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种基于区块链的深度神经网络模型联邦重组方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116450738B 。
龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310378980.8,技术领域涉及:G06F16/27;该发明授权一种基于区块链的深度神经网络模型联邦重组方法及系统是由宋明黎;王毅;宋杰;冯尊磊;陈刚设计研发完成,并于2023-04-11向国家知识产权局提交的专利申请。
本一种基于区块链的深度神经网络模型联邦重组方法及系统在说明书摘要公布了:基于区块链的深度神经网络模型联邦重组方法,包括:构建模型联邦重组的联盟链;设置模型联邦重组的智能合约;存储模型联邦重组过程中的数据;训练模型训练方的源模型,交由模型重组验证方进行联邦重组;模型联邦重组,模型重组验证方对源模型进行联邦重组,进而得到目标模型;计算模型训练方的贡献值。本发明还包括基于区块链的深度神经网络模型联邦重组的系统。本发明考虑到深度神经网络模型的可复用性已经单节点用户模型重组时的算力和数据的有限性,则进行多节点模型联邦重组。同时考虑联邦过程中的数据安全性及私密性,以及联邦中多节点之间合作的互不信任,建立基于HyperledgerFabric的联盟链及智能合约,提供一种多节点安全与可信合作的方法。
本发明授权一种基于区块链的深度神经网络模型联邦重组方法及系统在权利要求书中公布了:1.一种基于区块链的深度神经网络模型联邦重组方法,包含如下步骤: 步骤1.基于HyperledgerFabric框架构建符合模型联邦重组合作的联盟链; 联盟链由联盟成员以及负责联盟链的维护与更新的联盟操作员、智能合约审计人员、区块链开发人员共四种角色共同构成,参与模型联邦重组合作的节点作为联盟成员;HyperledgerFabric框架是一个联盟链的基本框架,提供权限管理、账本维护、智能合约区块链技术,使用者只需设置相应的业务逻辑;在此框架基础上,设置联盟成员间的业务为模型联邦重组合作,业务由客户方发布,由模型训练方以及模型重组验证方接收,三者通过智能合约达成合作,由此构建出模型联邦重组的联盟链; 步骤2.设置模型联邦重组的智能合约; 智能合约在客户方、模型训练方以及模型重组验证方之间签订,并根据设置内容自动执行,达成三方合作与约束,确保模型联邦重组过程中的安全性; 步骤3.存储模型联邦重组过程中的数据; 客户方与模型重组验证方之间的探测数据、目标模型共享,以及模型训练方与模型重组验证方之间的源模型共享,通过分散式存储系统实现,以确保数据和私有机器学习模型共享的安全性;分散式存储系统使这些数据和学习模型的访问更实惠、更快、更安全,更能满足联邦学习过程中的通信需求;节点将数据或私有模型存储在分散式存储系统中后,会生成表征这些网络资产的唯一哈希值地址并进行共享,保证了共享过程的完整性和授权; 步骤4.训练模型训练方的源模型,交由模型重组验证方进行联邦重组; 模型联邦重组分为两个部分,一部分为源模型训练任务,另一部分为联邦重组源模型并验证而得到目标模型;两部分分别由模型训练方和模型重组验证方完成,由模型训练方提供模型重组验证方所需的源模型;源模型训练由本地预训练及知识蒸馏两个步骤完成; 模型训练方基于本地数据,训练得到本地预训练模型,用表示N个模型训练方节点的本地预训练模型;为保证隐私性,对本地预训练模型进行知识蒸馏,从而得到源模型,提供给模型重组验证方进行联邦重组及验证过程; 源模型通过基于特征的知识蒸馏方法从本地预训练模型中学习知识;知识蒸馏过程中,由于网络结构的异构性,使用翻译模块对齐本地预训练模型和源模型的特征输出维度,将源模型输出通过翻译模块转换为预定义的输出长度;设和分别表示第n个节点的源模型和本地预训练模型的长度对齐后的特征;分别表示第次与模型重组验证方通讯时,第个节点的源模型和本地预训练模型参数;为模型的训练数据;同时,使源模型的中间输出模仿预训练模型,设置特征知识蒸馏损失计算如下: 源模型参数更新采用梯度下降如下: 经过本地知识提炼,源模型参数上传到星际文件系统作为模型重组验证方的源模型,模型重组验证方通过模型训练方提供的唯一的哈希地址获取模型参数; 步骤5.模型联邦重组,模型重组验证方对源模型进行联邦重组,进而得到目标模型; 源模型从步骤4所得,交由模型重组验证方进行模型联邦重组;模型训练方提供的源模型基于不同的本地数据训练而得,需要选择对目标模型更有利的模型进行联邦重组,所以模型联邦重组有以下两个步骤:1选择源模型集合中的有利模型,用于联邦重组;2联邦重组选取的源模型,验证重组后获得的目标模型性能; 步骤6计算模型训练方的贡献值; 根据在步骤5中的各模型训练方提供的源模型的可迁移性分数和联邦重组过程中的目标模型性能指标提升数,进行归一化计算,得到每个模型训练方为目标模型的贡献度量;用表示模型训练方和模型重组验证方第i个模型训练方节点在第t次联邦通讯迭代的贡献值,贡献计算如下所示: 其中为被选中的源模型在步骤5.2使得目标模型性能提升数,为步骤5.1中被选取的源模型的可迁移性分数,若未被选中则,分别为可变参数用于调整两个参数的权重比例且统一两个的数字量级; 考虑到目标模型性能的增长为近似于对数非线性增长,不能直接累加平均每一次迭代得到贡献值,故采用带偏差矫正的指数移动平均方法,随着迭代次数增多,提升近期迭代的贡献值的权重,削减前期迭代中的贡献值的权重,最终第i个模型训练方经过t轮通讯迭代后的累计贡献值计算如下: 其中时,默认将每次的贡献值均采用,所以根据公式,可以计算得到值;通过如下偏差矫正,可得到最终第i个模型训练方的最终贡献值,以及根据最终贡献值计算得到模型训练方获得相应的任务奖励;其中为客户方给定的模型训练任务总奖励,为第i个模型训练方可获得的相应奖励:
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励