Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 天津大学汤志航获国家专利权

天津大学汤志航获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉天津大学申请的专利基于时空二维分割与智能共享的大模型并行任务调度方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119645609B

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411854410.2,技术领域涉及:G06F9/48;该发明授权基于时空二维分割与智能共享的大模型并行任务调度方法是由汤志航;赵来平设计研发完成,并于2024-12-17向国家知识产权局提交的专利申请。

基于时空二维分割与智能共享的大模型并行任务调度方法在说明书摘要公布了:本发明公开了基于时空二维分割与智能共享的大模型并行任务调度方法,具体提出了一种基于时空二维的模型分割策略,基于训练和推理两类任务在计算性质上的显著差异,分别采用了针对性的优化策略,提高了任务执行效率;还提出了一种基于异构资源和干扰模型的模型放置策略,解决传统方法缺乏智能共享判断,无法动态调整的缺点,提高了调度的灵活性和适应性,从而保证共享资源的最大收益。本发明解决了现有异构智算集群的调度方法在处理大模型训练和推理任务时,未能充分利用模型分割和异构资源适配的模型放置优化技术、缺乏对集群中的计算资源进行智能共享调度,从而造成的系统任务调度不合理,计算资源利用率低等问题。

本发明授权基于时空二维分割与智能共享的大模型并行任务调度方法在权利要求书中公布了:1.基于时空二维分割与智能共享的大模型并行任务调度方法,其特征在于:包括以下步骤: S1、接受用户提交的大模型任务; S2、将大模型任务放入任务优先级队列排队等待系统调度器的调度;所述调度器包括任务分割模块、任务组合模块和任务放置模块; S3、任务分割模块采用时空二维的模型分割策略根据任务类型和特征将大模型任务分割为若干子任务,所述大模型任务分为训练任务和推理任务,具体包括: 对于大模型训练任务,采用空间维度分割方法进行分割,以提高并行度和资源利用率;具体地,针对大模型训练任务,采用空间维度分割方法进行分割,这一过程在异构计算资源的集群上采用算子间并行和算子内并行两种方式对大模型训练任务进行分割,对任务进行算子分割来实现算子间并行,进一步在算子内进行分割来实现算子内并行;其中,所述算子间并行将多个不同的计算过程分配到不同的计算设备上,并通过流水线的方式并行执行计算任务,按照依赖关系的顺序完成计算;所述算子内并行则是将同一个计算过程拆分成多个子任务,分散到多个计算设备上进行处理,然后通过同步机制将计算结果聚合,从而完成最终计算; 对于大模型推理任务,则根据任务的不同阶段,采用不同的时间分割策略,以提高推理效率并降低系统延迟,具体地,从时间维度对大模型推理任务进行分割以优化计算效率,每个用户请求会经历两个阶段:Prefill阶段和Decode阶段,对于Prefill阶段,选用张量切割来实现张量并行,将模型切分成张量并分配到不同设备上并行计算,从而加速整体计算;而在Decode阶段,采用流水线并行来重叠计算过程,充分利用访存时间以提升计算效率; S4、任务组合模块根据子任务和计算资源的特征对子任务进行组合; S5、任务放置模块生成放置策略并发送给指令执行器; S6、放置策略根据任务类型,采用搜索算法从集群中搜索选择相应的计算资源,在搜索过程中以最小化传输开销和空闲资源为目标,采用线性规划动态规划算法进行资源分配优化; S7、为任务分配计算资源并进行任务放置,然后执行。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人天津大学,其通讯地址为:300072 天津市南开区卫津路92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由AI智能生成
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。