城信科技股份有限公司黄河获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉城信科技股份有限公司申请的专利一种云计算数据管理方法、装置、设备及可存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120596196B 。
龙图腾网通过国家知识产权局官网在2025-10-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511093310.7,技术领域涉及:G06F9/455;该发明授权一种云计算数据管理方法、装置、设备及可存储介质是由黄河;沈卓;周殿辉;陈兴武设计研发完成,并于2025-08-06向国家知识产权局提交的专利申请。
本一种云计算数据管理方法、装置、设备及可存储介质在说明书摘要公布了:本发明涉及云计算技术领域,具体涉及一种云计算数据管理方法、装置、设备及可存储介质,方法:将大数据上传至HDFS后划分为等大小的数据块,并生成多个副本,分布存储于不同物理机的虚拟机中;周期性采集磁盘IO行为数据,包括磁盘读写访问次数与带宽利用率,并构建线性回归模型,预测磁盘性能;根据预测结果,将更多数据块分配至高性能磁盘对应的虚拟机;监测各虚拟机的CPU性能、磁盘IO利用率及Map任务延迟,计算综合性能评分,并据此对虚拟机排序;调度Map任务时优先选择高评分且具备数据局部性的虚拟机执行;当本地资源受限时,在其他具备局部性以非本地方式完成任务。本发明可以解决资源利用效率低下、数据本地性不足、任务调度优化能力较弱的问题。
本发明授权一种云计算数据管理方法、装置、设备及可存储介质在权利要求书中公布了:1.一种云计算数据管理方法,其特征在于,所述方法包括: 将待处理的大数据上传至HDFS分布式文件系统后划分为n个等大小的数据块,并为每个所述数据块生成预定数量的副本;根据各物理机磁盘的可用存储容量和预测的磁盘IO性能为每个所述数据块选择进行存储的虚拟机,且确保同一所述数据块的各副本存储在不同物理机上的虚拟机中; 周期性采集各物理机的磁盘IO行为数据,所述行为数据包括在固定时间间隔内磁盘读写访问的次数以及对应的磁盘IO带宽利用率,并将所述行为数据作为物理机磁盘性能的测量指标; 基于所述行为数据构建线性回归模型,以磁盘读写访问次数为自变量、磁盘IO带宽利用率为因变量,对多组样本数据进行线性拟合训练以确定模型参数,得到用于预测各物理机磁盘性能的回归模型; 利用所述线性回归模型预测集群中每台物理机磁盘的IO性能,计算得到各磁盘对应的性能预测值;根据各物理机磁盘的性能预测值调整所述数据块在虚拟机间的分配和副本放置,将性能预测值高于阈值的物理机所承载虚拟机分配更多数量的所述数据块,同时保持每个所述数据块的各副本分散存储在不同物理机上,以使各虚拟机存储的所述数据块数量与其宿主物理机的磁盘性能预测值成正比; 持续监测每个虚拟机的运行状态并采集其性能指标数据,所述性能指标数据包括CPU性能、磁盘IO性能以及最近Map任务的执行延迟指标,并按预定频率更新各虚拟机的性能指标值; 根据虚拟机的各项性能指标计算虚拟机性能评分,其中CPU性能指标与性能评分正相关,磁盘IO利用率和Map任务延迟指标与性能评分负相关;通过将虚拟机的CPU性能比值与磁盘IO带宽利用率及Map任务延迟影响值相乘获得虚拟机的综合性能评分; 依据各虚拟机的所述综合性能评分对虚拟机进行排序,在调度Map任务时优先选择性能评分高于阈值且存储有相应所述数据块的虚拟机执行数据本地的Map任务;当性能评分高于阈值且存储有相应所述数据块的虚拟机的可用资源无法满足所有Map任务的调度需求时,将剩余的Map任务分配给性能评分低于预设比例的但具有数据局部性的其他虚拟机执行;若在全部虚拟机上均无法实现某些Map任务的数据本地执行,则触发将这些任务以非本地方式在无对应所述数据块的虚拟机上执行,以确保所有Map任务均被调度完成。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人城信科技股份有限公司,其通讯地址为:518000 广东省深圳市南山区粤海街道滨海社区高新南十道63号高新区联合总部大厦16层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励