之江实验室唐娜娜获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉之江实验室申请的专利面向异构集群的资源分配方法、装置和存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120723469B 。
龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511165046.3,技术领域涉及:G06F9/50;该发明授权面向异构集群的资源分配方法、装置和存储介质是由唐娜娜;王原原;王雨旸;王责越;潘淑;杨非设计研发完成,并于2025-08-20向国家知识产权局提交的专利申请。
本面向异构集群的资源分配方法、装置和存储介质在说明书摘要公布了:本申请涉及一种面向异构集群的资源分配方法、装置和存储介质,其中,该资源分配方法包括:在各异构集群的单节点上执行初始模型若干迭代,获取模型性能特征;生成多个包括第一并行度和第二并行度的并行策略组合;基于第一并行度生成多个流水线并行组合,计算各流水线并行组合的负载不均衡率,并从流水线并行组合中筛选出负载不均衡率最小的N种组合;在各并行组合对应的各阶段内,遍历第二并行度和微处理批次,生成多个阶段策略组合;计算各阶段策略组合下的显存占用和执行时间,并筛选出显存小于或等于显存阈值且执行时间最少的K种阶段策略组合,基于阶段策略组合对异构集群进行资源分配。通过本申请,解决了训练效率和资源利用率低的问题。
本发明授权面向异构集群的资源分配方法、装置和存储介质在权利要求书中公布了:1.一种面向异构集群的资源分配方法,其特征在于,包括: 在各异构集群的单节点上执行初始模型若干迭代,获取模型性能特征;所述模型性能特征包括在不同微处理批次下,以及不同并行方式组合下模型各层的耗时、显存占用以及通信开销; 基于所述异构集群的计算设备总数,生成多个并行策略组合;所述并行策略组合包括第一并行度和第二并行度;所述第一并行度为流水线并行度; 基于所述流水线并行度,生成多个流水线并行组合,基于所述模型性能特征中的所述耗时和所述通信开销,计算各个所述流水线并行组合的负载不均衡率,并从所述流水线并行组合中筛选出负载不均衡率最小的N种目标流水线并行组合;N为正整数;所述流水线并行组合包括流水线阶段数和各个流水线阶段内的层数组合; 在各个所述目标流水线并行组合对应的各个流水线阶段内,遍历所述第二并行度和微处理批次,生成多个阶段策略组合;基于所述模型性能特征,根据各个流水线阶段内的层数,计算各个所述阶段策略组合下的组合显存占用和组合执行时间,并从所述阶段策略组合中筛选出组合显存占用小于或等于预设显存阈值且组合执行时间最少的K种目标阶段策略组合,基于所述目标阶段策略组合对所述异构集群进行资源分配;K为正整数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人之江实验室,其通讯地址为:311121 浙江省杭州市余杭区中泰街道科创大道之江实验室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励