山东商业职业技术学院曹代获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉山东商业职业技术学院申请的专利一种基于湖仓一体架构的动态分级存储方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120929022B 。
龙图腾网通过国家知识产权局官网在2025-12-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511468435.3,技术领域涉及:G06F3/06;该发明授权一种基于湖仓一体架构的动态分级存储方法及系统是由曹代;姜晓琳;朱佳;王立英设计研发完成,并于2025-10-15向国家知识产权局提交的专利申请。
本一种基于湖仓一体架构的动态分级存储方法及系统在说明书摘要公布了:本发明公开了一种基于湖仓一体架构的动态分级存储方法及系统,涉及动态分级存储技术领域,包括:数据管理层:基于ApacheDoris的Catalog、Database与Table三层逻辑结构;物理存储层:包括高速缓存层、中间缓冲层与持久化层;所述高速缓存层由NVRAMNVDIMM构成,搭载于Doris的BEFE节点;所述中间缓冲层由NVMeSSD构建的BurstBuffer系统构成;所述持久化层包括SSD阵列与磁盘阵列,用于低成本大容量数据留存;计算引擎层:集成Seatunnel、Spark与Flink。本发明要解决的技术问题是提供一种基于湖仓一体架构的动态分级存储方法及系统,融合大数据常用计算引擎如seatunnel、Flink、Spark,通过热点数据的定义,结构化数据和非结构化数据的标签定义,以及数据属性实现湖仓数据的分级存储和自动迁移。
本发明授权一种基于湖仓一体架构的动态分级存储方法及系统在权利要求书中公布了:1.一种基于湖仓一体架构的动态分级存储系统,其特征是,包括: 元数据管理层:基于ApacheDoris的Catalog、Database与Table三层逻辑结构; 物理存储层:包括高速缓存层、中间缓冲层与持久化层; 所述高速缓存层由NVRAMNVDIMM构成,搭载于Doris的BEFE节点; 所述中间缓冲层由NVMeSSD构建的BurstBuffer系统构成; 所述持久化层包括SSD阵列与磁盘阵列,用于低成本大容量数据留存; 计算引擎层:集成Seatunnel、Spark与Flink,构建了一套兼容多场景的数据迁移体系,通过统一适配层实现多引擎协同调度; 分级控制模块:通过分布式Catalog服务监控Table的访问频率,依据预设热点数据定义,自动将高频访问的Table迁移至高速缓存层或中间缓冲层,低频访问的Table下沉至持久化层; 统一适配层包括: 标准化接口设计,支持动态选择Seatunnel、Spark或Flink作为迁移工具; 资源适配模块,根据数据类型、规模及迁移时效性要求自动分配计算资源; 统一适配层还包括: 标准化配置抽象层与统一API接口,设计一种与具体引擎无关的配置抽象模型,将Seatunnel、Spark、Flink工具的特有参数映射到统一的配置模板中,实现一次配置,多引擎运行; 数据迁移过程中的可靠性保障机制包括: 字段级比对与完整性校验,通过各引擎的元数据管理能力实现多维度数据一致性验证; 异常重试策略,对迁移失败的任务自动重启并记录错误日志。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人山东商业职业技术学院,其通讯地址为:250103 山东省济南市历城区旅游路4516号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励