Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 北京航空航天大学肖利民获国家专利权

北京航空航天大学肖利民获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉北京航空航天大学申请的专利一种基于分层混合并行的云边端异构资源协同训练策略获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119576528B

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411546666.7,技术领域涉及:G06F9/50;该发明授权一种基于分层混合并行的云边端异构资源协同训练策略是由肖利民;王锦权;沈润楠;索珈顺;李云潼;霍志胜;苏晓设计研发完成,并于2024-10-31向国家知识产权局提交的专利申请。

一种基于分层混合并行的云边端异构资源协同训练策略在说明书摘要公布了:一种基于分层混合并行的云边端异构资源协同训练策略,研究跨域分布式计算框架如何充分地利用多样云边端异构计算资源的问题,研究设备图与计算图构建机制,构建精简、合并后的计算图和设备图,缩小分层混合并行策略的搜索空间;研究分层混合并行算法的搜索算法,通过动态规划算法和资源约束机制搜索可能的分层混合并行算法,实现云边端协同跨域场景下的高效分层混合并行;研究运行时跨域分层混合并行优化策略,通过计算簇内数据负载和计算负载的二次均衡分配,调整各个节点间的计算速度,规避运行时慢节点的出现。通过上述机制,实现云边异构计算资源和混合并行策略的高效适配,提升云边异构计算资源的利用效率,提升模型跨域分布式训练速度。

本发明授权一种基于分层混合并行的云边端异构资源协同训练策略在权利要求书中公布了:1.一种基于分层混合并行的云边端异构资源协同训练策略,其特征在于,包括通过设备图构建、计算图构建和全自动的并行计划搜索,得到云边端异构硬件配置的分层混合并行策略,组织云边端异构硬件共同完成模型训练任务,以实现协同跨域异构计算节点运行;运行时通过MicroBatch的动态负载优化,将慢节点的计算负载进行实时的卸载,联合多个云边端设备完成同一环节的计算任务; 包括以下步骤: 步骤1:建立基于计算簇聚合的设备图构建机制和基于模型编译的计算图构建机制; 步骤2:建立分层混合并行算法搜索流程; 步骤3:建立模型运行时优化机制,包括模型运行时状态同步机制,和模型运行时基于MicroBatch的数据均衡和张量均衡机制; 步骤2中包括以下步骤: 步骤2.1分析精简计算图中每个关键计算阶段的前向传播和反向传播时间;将l级子图的激活值和权重分别记为al和wl,并假设前向传播和反向传播的时间与计算能力成反比,与Batch大小成正比;将第l级子图在计算簇d中Batch大小为β的前向传播和反向传播时间分别记为和使用前向传播时间和反向传播时间预估第l级计算子图λ的计算等待时间 使用上述公式得到第l级子图的计算等待时间;使用AllReduce进行通信,通过以下公式给出第l级子图的通信等待时间 预估AllReduce通信时间,通过以下公式给出执行计算的时间仅因为前向传播和方向传播产生: 使用上述公式得到每一个计算子图的计算时间,每一轮的计算时间T被定义为: 至此完成了对跨域分布式环境中的模型计算时间的建模,并将其计算时间建模为统一的计算标准T; 步骤2.2将分层混合并行搜索算法建模为一个动态规划算法,使用该算法得到较优的分层混合并行策略;使用Ql,n,p表示将最后l级子图分割为p个阶段,并将它们放入最后n个设备时最佳的延迟;利用以下公式计算并更新Ql,n,p: 其中表示在未加入最后l级子图和最后n个设备的最小计算延迟。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京航空航天大学,其通讯地址为:100191 北京市海淀区学院路37号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。