买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉之江实验室申请的专利一种面向集群的大模型并行方法、装置和电子装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120353601B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510788730.0，技术领域涉及：G06F9/50；该发明授权一种面向集群的大模型并行方法、装置和电子装置是由王原原;俞鼎鼎;唐娜娜;王雨旸;杨非设计研发完成，并于2025-06-13向国家知识产权局提交的专利申请。

本一种面向集群的大模型并行方法、装置和电子装置在说明书摘要公布了：本申请涉及一种面向集群的大模型并行方法、装置和电子装置，应用于大模型领域，其中，该方法包括：获取面向集群的大模型在预设微处理批次及预设并行方式下的算子信息，算子信息包括面向集群的大模型中算子的算子时间信息和算子内存信息；集群包括一种或多种类型的加速器；基于算子信息、大模型所需的模型内存信息以及加速器的内存最值，确定大模型中多个流水线的初始算子并行配置策略；根据预设的负载均衡方式，对初始算子并行配置策略进行递归处理，得到目标算子并行配置策略，基于目标算子并行配置策略，运行面向集群的大模型。通过本申请提高了大模型并行配置时芯片计算性能的利用效率，实现了大模型训练的高效性且适用广泛性。

本发明授权一种面向集群的大模型并行方法、装置和电子装置在权利要求书中公布了：1.一种面向集群的大模型并行方法，其特征在于，所述方法包括： 获取面向集群的大模型在预设微处理批次及预设并行方式下的算子信息，所述算子信息包括面向集群的大模型中算子的算子时间信息和算子内存信息；所述集群包括一种或多种类型的加速器； 根据所述加速器的内存最值以及所述算子信息中的算子内存信息，确定预设微处理批次及预设并行方式下的流水线对应的第一集群内存比值；根据所述加速器的内存最值、所述算子信息中的算子内存信息以及计算算子内存信息中的算子激活值，确定预设微处理批次及预设并行方式下的流水线对应的第二集群内存比值；所述第一集群内存比值不大于所述第二集群内存比值；基于所述第一集群内存比值和所述第二集群内存比值，确定所述大模型中多个流水线的初始算子并行配置策略； 根据预设的负载均衡方式，对所述初始算子并行配置策略进行递归处理，得到目标算子并行配置策略，基于所述目标算子并行配置策略，运行所述面向集群的大模型； 所述初始算子并行配置策略中包括第一流水线和第二流水线；所述第一流水线和第二流水线为相邻流水线；所述根据预设的负载均衡方式，对所述初始算子并行配置策略进行递归处理，得到目标算子并行配置策略，包括：获取所述第一流水线的第一训练时间以及所述第二流水线的第二训练时间；判断所述第一训练时间和所述第二训练时间的时间差值是否小于预设的时间阈值；若所述时间差值不小于所述预设的时间阈值，递归移动所述第一流水线的算子至所述第二流水线，直至所述第一训练时间和所述第二训练时间的时间差值小于预设的时间阈值，得到中间算子并行配置策略； 在所述第一训练时间和所述第二训练时间的时间差值小于预设的时间阈值的情况下，判断所述中间算子并行配置策略的第一流水线的并行内存是否超过预设的内存阈值；若所述第一流水线的并行内存超过预设的内存阈值，则更新所述微处理批次；判断更新微处理批次后的第一流水线的并行内存是否超过预设的内存阈值；若所述更新微处理批次后的第一流水线的并行内存未超过预设的内存阈值，则依次处理所述第二流水线的并行内存。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室，其通讯地址为：311121 浙江省杭州市余杭区中泰街道科创大道之江实验室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。