买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海壁仞科技股份有限公司申请的专利分布式训练方法和系统、电子设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120218190B 。

龙图腾网通过国家知识产权局官网在2025-08-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510667964.X，技术领域涉及：G06N3/098；该发明授权分布式训练方法和系统、电子设备和存储介质是由请求不公布姓名设计研发完成，并于2025-05-23向国家知识产权局提交的专利申请。

本分布式训练方法和系统、电子设备和存储介质在说明书摘要公布了：本公开的实施例提供了一种分布式训练方法和系统、电子设备和存储介质。该分布式训练方法应用于分布式训练系统，在当前轮次迭代训练中，目标模型的至少一个阶段的训练由至少一个对应的设备和至少一个对应的主机协同执行，该分布式训练方法包括：对于目标模型的每个阶段，设备执行前向计算任务，得到前向计算结果；设备基于前向计算结果执行反向计算任务，以得到梯度数据；响应于反向计算任务完成，设备触发执行优化更新任务并获取更新后参数以供下一轮次迭代训练使用。该分布式训练方法能够减少等待时间，节省设备的计算资源，实现通信与计算的高效重叠，有效提高流水线效率和并行度，从而缓解大规模分布式深度学习训练中的通信瓶颈问题。

本发明授权分布式训练方法和系统、电子设备和存储介质在权利要求书中公布了：1.一种分布式训练方法，应用于分布式训练系统，其中， 所述分布式训练系统被配置为对目标模型进行分布式训练，所述分布式训练系统包括多个计算节点，每个计算节点包括至少一个主机和至少一个设备，每个计算节点还包括至少一个网卡，所述至少一个主机被配置为驱动至少一个网卡以实现所述多个计算节点间的网络通信，其中，所述目标模型以流水线并行模式被划分为多个阶段，每个阶段包括所述目标模型的至少一个层，所述多个阶段分别分布在所述多个计算节点的多个设备中， 其中，在当前轮次迭代训练中，所述目标模型的至少一个阶段的训练由至少一个对应的设备和至少一个对应的主机协同执行， 所述分布式训练方法包括： 对于所述目标模型的每个阶段， 所述设备执行前向计算任务，得到前向计算结果； 所述设备基于所述前向计算结果执行反向计算任务，以得到梯度数据； 响应于所述反向计算任务完成，所述设备立即触发执行优化更新任务并获取更新后参数以供下一轮次迭代训练使用； 对于所述目标模型的第一阶段，所述响应于所述反向计算任务完成，所述设备立即触发执行优化更新任务并获取更新后参数以供下一轮次迭代训练使用，包括： 响应于所述反向计算任务完成，所述设备立即将至少部分梯度数据传递至所述主机，并触发所述主机执行优化更新任务； 所述主机基于至少部分梯度数据执行优化更新任务，得到至少部分更新后参数，并将所述至少部分更新后参数传递至所述设备以供下一轮次迭代训练使用， 其中，所述第一阶段为在所述目标模型前向传播过程中按顺序执行的首个阶段。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海壁仞科技股份有限公司，其通讯地址为：201100 上海市闵行区陈行公路2388号16幢13层1302室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。