山东海量信息技术研究院唐轶男获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东海量信息技术研究院申请的专利专家并行训练耗时预测方法、装置、设备、介质及产品获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120373423B 。
龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510874226.2,技术领域涉及:G06N3/098;该发明授权专家并行训练耗时预测方法、装置、设备、介质及产品是由唐轶男;李仁刚;郭振华;赵雅倩;王丽;高开;曹芳设计研发完成,并于2025-06-27向国家知识产权局提交的专利申请。
本专家并行训练耗时预测方法、装置、设备、介质及产品在说明书摘要公布了:本发明公开了专家并行训练耗时预测方法、装置、设备、介质及产品,涉及人工智能技术领域,通过将混合专家模型训练所采用的训练样本集进行多次采样得到的训练样本分别输入混合专家模型以监测混合专家模型的专家网络的激活状态参数,从而对专家并行训练中专家网络的激活情况进行准确预测;根据专家网络的激活状态参数和异构计算系统的计算节点的资源状态信息,计算计算节点执行迭代训练的耗时预测结果,并根据计算节点的耗时预测结果确定异构计算系统执行迭代训练的耗时预测结果,实现对混合专家模型的专家并行训练的耗时进行准确预测,解决相关技术中模型训练耗时预测方案无法准确预测混合专家模型的专家并行训练的耗时的问题。
本发明授权专家并行训练耗时预测方法、装置、设备、介质及产品在权利要求书中公布了:1.一种专家并行训练耗时预测方法,其特征在于,包括: 确定异构计算系统的计算节点所部署的混合专家模型的专家网络; 获取所述混合专家模型的训练样本集,将自所述训练样本集中进行多次采样得到的训练样本分别输入所述混合专家模型,并监测所述专家网络的激活状态参数; 根据所述专家网络的激活状态参数和所述计算节点的资源状态信息,计算得到所述计算节点执行迭代训练的耗时预测结果; 根据所述计算节点的耗时预测结果确定所述异构计算系统执行迭代训练的耗时预测结果; 其中,监测所述专家网络的激活状态参数,包括: 监测历史迭代训练中所述专家网络的激活状态; 根据多轮历史迭代训练所述专家网络的激活状态确定所述专家网络在一次迭代训练中的激活概率,以所述激活概率为所述专家网络的激活状态参数; 根据所述专家网络的激活状态参数和所述计算节点的资源状态信息,计算得到所述计算节点执行迭代训练的耗时预测结果,包括: 根据所述专家网络的激活概率、所述计算节点的算力资源参数和所述计算节点的内存带宽,计算得到所述计算节点的前向传播计算耗时预测结果和所述计算节点的反向传播计算耗时预测结果; 根据所述专家网络的激活概率和所述计算节点的网络资源参数,计算得到所述计算节点的前向传播通信耗时预测结果和所述计算节点的反向传播通信耗时预测结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东海量信息技术研究院,其通讯地址为:250000 山东省济南市高新技术开发区国家信息通信国际创新园;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。