中国科学技术大学许胤龙获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国科学技术大学申请的专利一种混合部署下基于Spark代价感知的批处理应用驱逐方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115562858B 。
龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211180785.6,技术领域涉及:G06F9/50;该发明授权一种混合部署下基于Spark代价感知的批处理应用驱逐方法是由许胤龙;梁熙远;吴思;李永坤设计研发完成,并于2022-09-27向国家知识产权局提交的专利申请。
本一种混合部署下基于Spark代价感知的批处理应用驱逐方法在说明书摘要公布了:本发明涉及云计算技术领域,公开了一种混合部署下基于Spark代价感知的批处理应用驱逐方法,包含定义Spark计算任务重算代价、估计剩余时间代价以及预测LC应用的资源使用需求;首先,由于本发明只涉及到容器编排平台的修改,兼容已有的Spark应用和所有的LC应用,因此通用性较好;并且由于算法采用触发式平时组件只消耗极少量资源,对于LC、BE应用几乎没有影响;最后,由于可以将重算代价定义成计算代价以及传输代价两部分以及动态感知LC资源使用需求的变化,同时提供了大量的可自定义参数,所以本方法适用于多种场景,通用性较好;本发明适用于混合部署下由于LC应用负载升高产生了内存争用的情况,提高了资源利用率的同时也提高了集群的总吞吐。
本发明授权一种混合部署下基于Spark代价感知的批处理应用驱逐方法在权利要求书中公布了:1.一种混合部署下基于Spark代价感知的批处理应用驱逐方法,包括以下步骤: 步骤一、定量每个Spark计算任务的重算代价: Spark计算任务的重算代价等于计算代价和传输代价的加权和;其中计算代价等于重算数据量与算子复杂度的乘积,重算数据量为Spark计算任务中已完成阶段内所有计算的分区数据量之和,算子复杂度为Spark计算任务中已完成阶段内所有计算的分区的每单位数据处理时长的平均值;传输代价为阶段内已完成的数据传输量; 步骤二、估计每个Spark计算任务的剩余时间代价: Spark计算任务的计算过程包括已完成阶段、当前处理阶段和未处理阶段,根据已完成阶段、当前处理阶段和未处理阶段的数量得到Spark计算任务的已完成工作量,结合已完成工作量估计得到所述Spark计算任务的总计算时间以及剩余时间代价RTCost: 其中,JobProgress表示Spark计算任务的已完成工作量,CalculatedTime表示Spark计算任务的计算时间,剩余时间代价的正系数γ根据不同阶段的工作负载复杂性进行设置; 步骤三、预测延迟敏感型应用的资源使用需求: 通过监控延迟敏感型应用的过去一段时间窗口内的资源消耗预测接下来一段时间内延迟敏感型应用的资源使用需求; 步骤四:选取驱逐代价最小的Spark计算任务进行驱逐 根据Spark计算任务的重算代价和剩余时间代价决定驱逐代价最小的Spark计算任务并进行驱逐;在决定驱逐代价最小的Spark计算任务时,根据延迟敏感型应用的资源使用需求设置重算代价和剩余时间的权重; 混合部署是指延迟敏感型应用和尽力而为型应用部署在同一集群中。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学技术大学,其通讯地址为:230026 安徽省合肥市包河区金寨路96号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。