中盈优创资讯科技有限公司张强获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中盈优创资讯科技有限公司申请的专利一种优化大规模HDFS存储系统无缝升级的方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119484280B 。
龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411443069.1,技术领域涉及:H04L41/082;该发明授权一种优化大规模HDFS存储系统无缝升级的方法及系统是由张强设计研发完成,并于2024-10-16向国家知识产权局提交的专利申请。
本一种优化大规模HDFS存储系统无缝升级的方法及系统在说明书摘要公布了:本发明公开一种优化大规模HDFS存储系统无缝升级的方法及系统,其中,该方法包括:自定义新的副本放置策略,使每个数据块的三副本自动分布在集群中三个不同的机架上;在集群状态发生变化时,自动调整副本放置策略;优化NameNode的副本复制逻辑,使其识别DataNode在升级期间的预期短暂停止状态;在预期短暂停止期间,根据不同场景的严重性,实施分级复制策略,并结合渐进式数据迁移策略。该方法及系统通过自定义新的副本放置策略,确保数据块的三副本分布在三个不同机架上,减少数据丢失风险;标记DataNode的短暂停止状态以避免不必要的副本复制,并通过分级复制和渐进式数据迁移策略,保障系统在升级过程中的高可用性和性能稳定性,以实现大规模HDFS存储系统的无缝升级。
本发明授权一种优化大规模HDFS存储系统无缝升级的方法及系统在权利要求书中公布了:1.一种优化大规模HDFS存储系统无缝升级的方法,其特征在于,该方法包括: 自定义新的副本放置策略,使每个数据块的三副本自动分布在集群中三个不同的机架上;在集群状态发生变化时,自动调整副本放置策略;自定义新的副本放置策略,包括: 第一个副本选择:放置在与数据写入节点相同的机架上; 第二个副本选择:从与第一个副本不同的机架中选择一个负载较低的节点; 第三个副本选择:从与前两个副本所在机架不同的第三个机架中选择一个负载较低的节点; 回退机制:当集群中只有两个机架时,将两个副本放在一个机架,另一个副本放在另一个机架; 根据实时收集的节点状态信息,评估节点负载和可用资源,动态选择最适合存放副本的节点;结合网络拓扑信息优化节点选择; 定期检查和评估集群中各个节点的负载分布情况,判断是否需要触发副本再分布操作;在再分布操作中,仍然遵循三副本分布在三个不同机架上的原则; 优化NameNode的副本复制逻辑,使其识别DataNode在升级期间的预期短暂停止状态;在预期短暂停止期间,根据不同场景的严重性,实施分级复制策略,在预期短暂停止期间,如果检测到上述副本不足的情况,NameNode将触发紧急副本复制,但复制的优先级会根据情况分级;高优先级:如果出现多个副本不足的情况,NameNode将立即触发副本复制;低优先级:对于仅出现单节点短暂停机或硬件故障的情况,NameNode会延迟副本复制,并尝试在短时间内恢复节点;结合渐进式数据迁移策略,副本复制将分阶段进行,每个阶段复制一定比例的数据块,而不是一次性完成所有副本的复制; 当集群在升级期间停用某个DataNode时,可预先将节点标记为预期短暂停止状态; NameNode在触发副本复制之前,检查节点是否处于预期短暂停止状态; 在NameNode实施副本复制时,优先选择分布在低负载机架或节点上的副本进行迁移。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中盈优创资讯科技有限公司,其通讯地址为:201804 上海市嘉定区曹安公路4811号702室-2;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励