买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)申请的专利一种适用于异构设备的流水线并行训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120429090B 。

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510912273.1，技术领域涉及：G06F9/48；该发明授权一种适用于异构设备的流水线并行训练方法是由赵志刚;李锦涛;李传涛;王春晓;张广东;周智伟;王雨欣;徐艳;刘福来;李安帮设计研发完成，并于2025-07-03向国家知识产权局提交的专利申请。

本一种适用于异构设备的流水线并行训练方法在说明书摘要公布了：本发明涉及深度学习技术领域，尤其是提供了一种适用于异构设备的流水线并行训练方法。该方法包括构建异构设备联合训练架构；根据构建的异构设备联合训练架构，优化流水线上微批次的调度策略；基于优化后的调度策略，设计异构设备间的通信模式，该方法充分利用了异构硬件特性，提高了训练效率以及优化了通信策略。

本发明授权一种适用于异构设备的流水线并行训练方法在权利要求书中公布了：1.一种适用于异构设备的流水线并行训练方法，其特征在于，所述方法包括： 步骤1、构建异构设备联合训练架构； 步骤2、根据构建的异构设备联合训练架构，优化流水线上微批次的调度策略； 步骤3、基于优化后的调度策略，设计异构设备间的通信模式； 所述步骤1包括： 物理视图层面：采用数据并行和流水线并行的混合并行策略；基于数据并行，将微批次mini-batch数据集根据异构设备的性能差异分割为多个数据子集，并分配给不同的设备进行并行计算，每个设备根据计算性能处理分配到的数据子集；基于流水线并行，通过将模型划分为多个阶段Stage，每个阶段的计算任务相同，根据设备的性能差异由不同数量的设备组合共同执行一个阶段；在前向传播过程中，数据依次流经设备，每个阶段内设备根据自身性能处理相应的计算任务；在不同的阶段之间，不同类型的设备之间的数据传输构成了异构设备通信组；在反向传播时，梯度信息则按相反方向在异构设备或同构设备间传递； 逻辑视图层面：针对异构设备间性能的差异，采用基于异构的流水线并行GPipe负载均衡的策略；在异构流水线并行的设计中，对于显存小的设备或计算能力弱的设备，将其多台设备组合成为计算组，共同完成一个阶段的计算任务，在每个阶段内多台设备是同构的，跨阶段则会存在异构组合；其中，根据多台设备之间的计算性能差异，跨阶段的异构组合将输入数据划分成多个数据子集，并分配给不同设备进行并行计算； 所述步骤2包括： 采用异构设备的前向反向并行策略Het-1F1B，首先，通过优化前的调度微批次反向传播，释放微批次前向传播产生的激活的内存，其在相应的反向传播之后被释放，从而被下一个注入的微批次重用，扩大训练规模；其次，随着模型参数规模的逐步变大，A100和T4的显存从原始的3:1，逐步将达到5:1，Het-1F1B将A100作为首节点，以缓解T4设备的压力； 针对Het-1F1B使用同一个通信流接收又发送所导致的死锁问题，根据前向及反向传播创建专用的通信器Communicator，实现近似异步的效果；采用同步的方法更新模型的权重，通过周期性刷新流水线，以确保在训练迭代中的所有阶段和所有微批次中使用相同版本的权重。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)，其通讯地址为：250353 山东省济南市长清区西部新城大学科技园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。