北京计算机技术及应用研究所刘宗宝获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京计算机技术及应用研究所申请的专利一种基于强化学习的异构MapReduce集群推测执行调度方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN113867944B 。
龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111106821.X,技术领域涉及:G06F9/50;该发明授权一种基于强化学习的异构MapReduce集群推测执行调度方法是由刘宗宝;张力;丁瑞设计研发完成,并于2021-09-22向国家知识产权局提交的专利申请。
本一种基于强化学习的异构MapReduce集群推测执行调度方法在说明书摘要公布了:本发明涉及一种基于强化学习的异构MapReduce集群推测执行调度方法,属于大数据处理领域。本发明采用基于Q‑learning强化学习的节点权重动态更新方法,基于历史信息实现节点权重的自适应调整,有效提升了task剩余运行时间的估算准确性;对straggler进行是否迁移的判别,需同时满足备份task比例约束,以及迁移后的运行时间约束两项条件,straggler才能启动备份任务;同时结合maptask快节点和reducetask快节点,这种方式提升了异构MapReduce集群的资源利用率。基于典型数据集的仿真试验结果表明,相比于现有算法,本文提出的算法对于大规模数据的处理效率明显提升。
本发明授权一种基于强化学习的异构MapReduce集群推测执行调度方法在权利要求书中公布了:1.一种基于强化学习的异构MapReduce集群推测执行调度方法,其特征在于,该方法包括如下步骤: S1、根据历史信息,进行异构MapReduce集群中各节点的权重更新; S2、判断正在运行的taski是否straggler,如果是,则标记为stragglertaski; S3、判断异构MapReduce集群中的各节点是否慢节点; S4、对于stragglertaski,判断是否将其迁移到快节点上执行,如果满足条件,则在快节点上启动备份任务,否则在原节点上继续运行taski; 其中, 所述步骤S3具体包括如下步骤: S31、计算TTi上maptask和reducetask的平均进度率TrRmi、TrRri;TTi为第i个TaskTracker节点; S32、计算系统中所有节点上maptask的平均进度率ATrRm,以及所有节点上reducetask的平均进度率ATrRr; S33、判断TTi为运行maptask的慢节点,或运行reducetask的慢节点; TTi上maptask的平均进度率为: 其中,M为TTi上运行的maptask个数,PRj为TTi上第j个maptask的进度率; TTi上reducetask的平均进度率为: 其中,R为TTi上运行的reducetask个数,PRj为TTi上第j个reducetask的进度率。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京计算机技术及应用研究所,其通讯地址为:100854 北京市海淀区永定路51号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。