买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)申请的专利一种适用于网络和设备异构环境的深度学习模型训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120409596B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510912277.X，技术领域涉及：G06N3/084；该发明授权一种适用于网络和设备异构环境的深度学习模型训练方法是由赵志刚;李锦涛;李传涛;王春晓;张广东;周智伟;王雨欣;徐艳;刘福来;李安帮设计研发完成，并于2025-07-03向国家知识产权局提交的专利申请。

本一种适用于网络和设备异构环境的深度学习模型训练方法在说明书摘要公布了：本发明涉及模型训练技术领域，尤其是提供了一种适用于网络和设备异构环境的深度学习模型训练方法。该方法包括设计改进后的混合并行策略；根据改进后的混合并行策略，构建基于动态规划的模型划分与任务放置方案；根据改进后的混合并行策略以及基于动态规划的模型划分与任务放置方案，设计自适应加权半同步的混合训练机制，该方法实现了通信负载的合理分配，提高了硬件利用率和整体的训练效率。

本发明授权一种适用于网络和设备异构环境的深度学习模型训练方法在权利要求书中公布了：1.一种适用于网络和设备异构环境的深度学习模型训练方法，其特征在于，所述方法包括： 步骤1、设计改进后的混合并行策略； 步骤2、根据改进后的混合并行策略，构建基于动态规划的模型划分与任务放置方案； 步骤3、根据改进后的混合并行策略以及基于动态规划的模型划分与任务放置方案，设计自适应加权半同步的混合训练机制； 所述步骤1包括： 设计改进后的混合并行策略PatchPipe，在同一个阶段stage内部，根据异构设备的内存容量和计算能力分配对应的批次；在不同阶段stage之间，联合多个低端的异构设备组成一组，组内采用数据并行，组间采用流水线并行，共同处理一个完整的训练批次，在内存容量上与高端的设备达到一个平衡；PatchPipe通过提前调度微批次反向传播，及时释放当前微批次前向传播产生的激活的内存，从而为下一个注入的微批次腾出内存； 所述步骤3包括： 在自适应加权半同步SSAW中设计选择性同步策略，对于每次迭代，梯度的同步引入局部同步和全局同步的双阶段机制；局部同步是针对部分节点的轻量级梯度同步操作；在每次迭代中，动态评估各个节点的运行状态，选择当前迭代完成快的节点执行一次All-Reduce操作；SSAW在经过若干轮局部同步之后，会周期性地执行一次全局同步操作，全局同步强制所有节点统一执行一次完整的All-Reduce，使得所有节点在模型参数上重新对齐；同时，对于不参与局部同步的节点，在其中引入梯度累积； 在梯度同步时，给每个节点一个权值，此权重根据其历史同步次数动态调整，用于衡量其在当前同步中的贡献程度；对于设备i第j次迭代时的梯度信息记作，当其参与梯度同步时，加权梯度的表达式为： （9） 其中，表示当前数据并行中参与梯度同步的设备集合； 权值的表达式为： （10） 其中，为当前节点在历史局部同步的次数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)，其通讯地址为：250353 山东省济南市长清区西部新城大学科技园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。