同济大学丁志军获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉同济大学申请的专利一种深度学习训练集群调度方法、设备及计算机可读存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120508399B 。
龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510994809.9,技术领域涉及:G06F9/50;该发明授权一种深度学习训练集群调度方法、设备及计算机可读存储介质是由丁志军;董浩;徐悦皓设计研发完成,并于2025-07-18向国家知识产权局提交的专利申请。
本一种深度学习训练集群调度方法、设备及计算机可读存储介质在说明书摘要公布了:本发明提供一种深度学习训练集群调度方法、设备及计算机可读存储介质,所述集群调度方法包括:收集深度学习训练任务相关数据;构建有效的多配置深度学习训练任务时长预估模型,并对其进行增量式训练;对集群陆续到达的任务进行时长预测,以生成深度学习任务多配置下的任务时长;将基于预测结果的周期性调度和基于任务队列状态的触发式调度结果相结合,集成综合调度结果。本发明所述深度学习训练集群调度方法一方面能够有效解决现有深度学习训练集群调度技术存在的多种配置下的任务时长难以预估,调度方案忽视CPU以及难以应对持续到达的任务等缺陷;另一方面可实现对深度学习训练集群的合理调度,提高集群资源利用率,优化任务执行效率等。
本发明授权一种深度学习训练集群调度方法、设备及计算机可读存储介质在权利要求书中公布了:1.一种深度学习训练集群调度方法,其特征在于,包括以下步骤: S1,收集深度学习训练任务相关数据,包括任务的资源需求,集群的资源状态数据以及任务运行状态数据; S2,分析任务执行时长及资源利用的相关特征,构建有效的多配置深度学习训练任务时长预估模型; S3,对集群陆续到达的任务进行时长预测,以生成深度学习任务多配置下的任务时长; S4,将基于预测结果的周期性调度和基于任务队列状态的触发式调度结果相结合,集成综合调度结果; 步骤S2包括: S21,最佳CPU核心数量计算; 最佳CPU核心数量代表能够实现性能与资源最优平衡的CPU核心数; 计算过程为:收集不同CPU核心数量下的任务完成时间数据,将数据分为临界点前后两部分,分别进行对数函数和线性函数的拟合,然后计算两部分的误差总和,最终选择误差最小的点作为最佳CPU核心数量; S22,预估器模型训练方法; 预估器包含两个机器学习模型:最佳CPU核心预测模型和性能外推模型;所述最佳CPU核心预测模型用于预测最佳CPU核心数量,所述性能外推模型用于预测最终的时间; 最佳CPU核心预测模型基于随机森林实现,采用均方误差作为损失函数,输入特征是通过独热编码转为数值特征的深度学习模型的层间信息、模型类型、GPU配置和批处理大小;训练标签为步骤S21得到的最佳CPU核心数量;其中,所述深度学习模型为深度学习训练任务使用的网络模型; 性能外推模型包括五个时间预测模型和一个整合模型,采用分阶段建模方法,即先用五个时间预测模型分别对数据处理、前向传播、反向传播、参数更新和数据移动五个关键计算阶段进行时间预测,然后用整合模型将五个阶段的预测时间整合成一个最终的时间; 其中,五个阶段的时间预测模型采用相同的模型结构和参数设置,区别仅在于训练数据选择了来自不同阶段的运行时间; 具体的,时间预测模型采用随机森林算法实现,采用2折交叉验证进行超参数优化,选择最优参数组合;采用均方误差作为损失函数,输入特征是深度学习模型的最佳CPU核心数量、性能参数、基准GPU配置、基准GPU配置以及最佳CPU核心数量下的深度学习模型的数据处理阶段运行时间、待预测的GPU配置和待预测的CPU核心数量;训练标签为待预测的GPU配置下以及CPU配置下的计算阶段的运行时间; 整合模型采用随机森林算法实现,采用均方误差作为损失函数,输入特征是最佳CPU核心数量、基准GPU配置、基准GPU配置和最佳CPU核心数量下的深度学习模型的五阶段时间以及完整运行时间、待预测的GPU配置以及待预测的CPU核心数量、待预测的GPU配置和待预测的CPU核心数量下的深度学习模型的五阶段时间;训练标签是待预测的GPU配置以及待预测的CPU核心数量下的深度学习模型的运行时间。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人同济大学,其通讯地址为:200092 上海市杨浦区四平路1239号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。