买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海燧原科技有限公司申请的专利分布式梯度的压缩训练方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115146119B 。

龙图腾网通过国家知识产权局官网在2026-01-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210871829.3，技术领域涉及：G06F16/903；该发明授权分布式梯度的压缩训练方法、装置、设备及存储介质是由屈鑫;张文豪;许士芳设计研发完成，并于2022-07-22向国家知识产权局提交的专利申请。

本分布式梯度的压缩训练方法、装置、设备及存储介质在说明书摘要公布了：本发明公开了一种分布式梯度的压缩训练方法、装置、设备及介质。该方法包括：在确定满足策略矩阵启动学习条件时，控制分布式集群中的各工作节点执行第一阶段梯度压缩训练；在第一阶段梯度压缩训练过程的每轮训练中，根据每个轮次与前序至少一个轮次相比的损失值和训练耗时差异，动态更新策略矩阵；在完成第一阶段梯度压缩训练时，控制分布式集群中的各工作节点执行第二阶段梯度压缩训练；在第二阶段梯度压缩训练过程的每轮训练中，根据与每个轮次对应的训练状态查询完成更新的所述策略矩阵，确定各工作节点在每个轮次所使用的梯度压缩比例，本发明实施例的技术方案实现了在分布式梯度的压缩训练过程收敛精度和收敛速度的动态平衡。

本发明授权分布式梯度的压缩训练方法、装置、设备及存储介质在权利要求书中公布了：1.一种分布式梯度的压缩训练方法，由分布式集群中的控制节点执行，其特征在于，包括： 在确定满足策略矩阵启动学习条件时，控制分布式集群中的各工作节点执行第一阶段梯度压缩训练； 在第一阶段梯度压缩训练过程的每轮训练中，根据每个轮次与前序至少一个轮次相比的损失值和训练耗时差异，动态更新策略矩阵； 其中，策略矩阵用于描述每个训练状态下，不同梯度压缩比例下的矩阵得分值，矩阵得分值与分布式训练性能成正比； 在完成第一阶段梯度压缩训练时，控制分布式集群中的各工作节点执行第二阶段梯度压缩训练； 在第二阶段梯度压缩训练过程的每轮训练中，根据与每个轮次对应的训练状态查询完成更新的所述策略矩阵，确定各工作节点在每个轮次所使用的梯度压缩比例； 其中，第一阶段梯度压缩训练中包括第二迭代轮数的梯度压缩训练； 在第一阶段梯度压缩训练过程的每轮训练中，根据每个轮次与前序至少一个轮次相比的损失值和训练耗时差异，动态更新策略矩阵，包括： 获取在第一阶段梯度压缩训练过程中的第一当前轮次； 控制各工作节点执行第一当前轮次下的模型训练，并根据各工作节点的模型训练结果，计算与第一当前轮次匹配的第一当前损失值和第一当前训练耗时； 获取与第一当前轮次匹配的第一当前训练状态，其中，第一阶段梯度压缩训练过程的首轮训练具有初始化的训练状态； 根据当前更新的策略矩阵，选取与第一当前训练状态匹配的第一当前梯度压缩比例； 控制各工作节点按照第一当前梯度压缩比例上报第一压缩梯度信息，并根据各工作节点上报的第一压缩梯度信息进行模型参数的更新； 获取与预设的滑动窗口大小匹配的至少一个前序轮次的历史损失值； 根据第一当前损失值和各历史损失值，计算得到滑动窗口损失斜率值和滑动窗口损失标准差； 查询预设的训练状态映射表，获取与滑动窗口斜率值对应的第一目标训练状态，其中，训练状态映射表存储滑动窗口斜率值范围与下一轮次训练状态之间的映射关系； 根据滑动窗口损失标准差、第一当前训练耗时、前一轮次训练耗时以及滑动窗口损失斜率值，计算得到第一奖励得分值； 根据第一奖励得分值和第一目标训练状态，更新所述策略矩阵中与第一当前训练状态和第一当前梯度压缩比例共同对应的矩阵得分值后，继续执行新轮次的第一阶段梯度压缩训练，直至完成第二迭代轮数的梯度压缩训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海燧原科技有限公司，其通讯地址为：201306 上海市浦东新区中国(上海)自由贸易试验区临港新片区业盛路188号A-522室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。