买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门理工学院申请的专利基于信息一致性驱动的梯度压缩器及梯度压缩方法、设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120911525B 。

龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511453033.6，技术领域涉及：G06N3/0495；该发明授权基于信息一致性驱动的梯度压缩器及梯度压缩方法、设备是由李建敏;林泽杭;朱顺痣;杨淼;方震;李林;林政;王大寒设计研发完成，并于2025-10-13向国家知识产权局提交的专利申请。

本基于信息一致性驱动的梯度压缩器及梯度压缩方法、设备在说明书摘要公布了：本发明提供的基于信息一致性驱动的梯度压缩器及梯度压缩方法、设备，涉及分布式学习技术领域。本发明用于联邦学习系统中若干客户端与服务器端之间进行梯度压缩，通过互信息约束建模模块将互信息约束作为梯度压缩的核心目标，通过最小化拉格朗日目标函数得到最优压缩算子；多尺度稀疏表示模块利用小波变换对所述原始梯度进行多尺度稀疏化处理，以削减冗余数据，得到稀疏化梯度表示，并结合互信息约束与最优压缩算子进行评估以动态调整参数；通过贝叶斯自适应量化模块估计稀疏化梯度表示的概率分布以动态调整量化位宽，生成压缩梯度传输回服务器端。本发明通过多层次优化显著降低了分布式深度学习中的通信开销，同时最大限度地保留了梯度信息。

本发明授权基于信息一致性驱动的梯度压缩器及梯度压缩方法、设备在权利要求书中公布了：1.一种基于信息一致性驱动的梯度压缩器，用于联邦学习系统中若干客户端与服务器端之间进行梯度压缩，其特征在于，包括：互信息约束建模模块、多尺度稀疏表示模块以及贝叶斯自适应量化模块： 其中，所述互信息约束建模模块用于接收客户端的模型在训练过程中生成的原始梯度，并将互信息约束作为梯度压缩的核心目标，通过最小化拉格朗日目标函数得到最优压缩算子；其中，所述互信息为熵与条件熵的差值，将互信息约束作为压缩的核心目标，表达式为： ； ； 其中，表示原始梯度；表示重构梯度，即解压后的近似梯度；表示压缩表示，是客户端和服务器之间传输的目标；表示受约束于； 表示压缩算子，即从原始梯度到压缩表示的映射函数；表示期望运算符，即在数据分布上取平均值；表示原始梯度与重构梯度之间的L2范数平方，用于度量重构误差；表示L2范数； 表示互信息，即压缩表示中保留的关于原始梯度的信息；表示信息保持阈值；表示熵，即原始梯度的整体不确定性；表示条件熵，即在给定压缩表示后，梯度仍然存在的不确定性； 所述多尺度稀疏表示模块用于利用小波变换对所述原始梯度进行多尺度稀疏化处理，以削减冗余数据，得到稀疏化梯度表示，并结合所述互信息约束与所述最优压缩算子进行评估，以动态调整稀疏化参数； 所述贝叶斯自适应量化模块用于通过贝叶斯方法估计所述稀疏化梯度表示的概率分布，根据梯度的概率分布动态调整量化位宽，生成压缩梯度，传输回服务器端经解压缩、聚合后再下发给客户端，用于客户端模型更新；其中，所述梯度的概率分布通过概率建模获得，表达式为： ； 其中，表示输入的梯度值的概率分布函数；表示高斯混合模型的分量数；表示第个高斯分量的权重，满足；表示第个分量的均值，即中心位置；表示第个分量的方差，即分布的扩展程度；表示高斯密度函数；表示梯度值均值、方差下的概率密度； 根据梯度分布动态调整量化位宽时，通过最大后验概率推断选择最优位宽，以找到能最大化后验概率的比特数，保证量化过程中误差最小，表达式为： ； 其中，表示最优位宽，即最终选择的比特数；表示寻找使后验概率最大的位宽值；b表示位宽；表示稀疏化梯度表示样本集合中第个梯度值；表示给定梯度样本集合下，位宽b的后验概率； 接着，基于梯度的标准差和位宽大小计算缩放因子，以将浮点数映射至整数空间，表达式为： ； 其中，表示缩放因子，用于调整浮点数到整数域的映射比例；表示梯度分布的标准差； 最后，在量化过程中将每个梯度值映射为整数，通过四舍五入减少误差，表达式为： ； 其中，表示梯度值量化后的整数值，即压缩梯度；表示梯度均值，用于中心化处理；表示四舍五入操作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门理工学院，其通讯地址为：361024 福建省厦门市集美区理工路600号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。