西安电子科技大学马英红获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安电子科技大学申请的专利一种边缘计算场景下的模型并行方法、系统、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116302539B 。
龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310281020.X,技术领域涉及:G06F9/50;该发明授权一种边缘计算场景下的模型并行方法、系统、设备及介质是由马英红;徐杭;焦毅;李红艳;刘伟;刘勤;张琰设计研发完成,并于2023-03-22向国家知识产权局提交的专利申请。
本一种边缘计算场景下的模型并行方法、系统、设备及介质在说明书摘要公布了:一种边缘计算场景下的模型并行方法、系统、设备及介质,其方法包括:计算所有可能参与训练的边缘设备的计算和存储能力的综合评分;获取待训练神经网络模型的参数及所有拓扑排序;求每种拓扑排序下的模型的最优划分解;选择最终的模型拆分方案;其系统、设备及介质用于边缘计算场景下的模型并行方法;方法在设置启发式模型拆分算法优化目标时,考虑了边缘设备内存小的实际情况,在选择参与训练的边缘设备时更大概率选择内存大的设备参与训练;在设置启发式模型拆分算法优化目标时,还将使计算时间最小的模型分片训练时长的最优分布特性考虑进去,减小了模型进行流水化模型并行训练的迭代时间,具有缩短训练时间,节约人力物力的特点。
本发明授权一种边缘计算场景下的模型并行方法、系统、设备及介质在权利要求书中公布了:1.一种边缘计算场景下的模型并行方法,其特征在于,具体步骤如下: 步骤S1、计算所有可能参与训练的边缘设备的计算和存储能力的综合评分; 步骤S2、估算待训练神经网络模型的参数,参数包括模型中各神经网络层的计算量和模型中各神经网络层间的通信传输量; 步骤S3、获取待训练神经网络模型的所有拓扑排序; 步骤S4、对于神经网络的每一种拓扑排序,使用计算时延和通信时延联合优化的流水模型拆分算法求该拓扑排序下的模型的最优划分解; 步骤S5、在所有拓扑排序的最优划分解中选择使模型迭代时间最短的解作为最终的模型拆分方案; 所述步骤S4的具体操作为: 步骤S4.1、选取目前最优解集; 步骤S4.2、采用本地搜索算法,由最优解集生成下一代解集; 步骤S4.3、若下一代解集为空,停止迭代; 步骤S4.4、混合下一代解集与最优解集,保留一定比例的适应度高的解为目前最优解集; 步骤S4.5、若迭代次数未到达停止条件,重复执行步骤S4.1-步骤S4.5,否则停止迭代; 所述步骤S4.2中本地搜索算法的设计思路如下:首先找出每个分片中所有可移动的顶点,顶点为模型分片中的神经网络层,位于模型分片中可移动的顶点需要满足至少两个条件中的一个:可前向移动,或顶点没有前驱节点,或所有的前驱节点都不与该顶点在同一个分片中;可后向移动,或顶点没有后继节点,或所有后继节点都不与该节点在同一分片中;算法通过对每个节点分析其前驱节点和后继节点所属的划分分片确定它是否可以移动,若可移动,则进一步确定其在模型分片间移动的范围;在找出所有可移动节点之后,算法根据可移动节点被移动过的次数,决定是否将该节点移动至另一划分区块;该点已移动次数越多,越有可能舍弃该次移动操作。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安电子科技大学,其通讯地址为:710071 陕西省西安市雁塔区太白南路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。