买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉安徽青际科技有限公司申请的专利一种基于Kafka和FlinkCDC的大数据更新方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120429304B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510942248.8，技术领域涉及：G06F16/23；该发明授权一种基于Kafka和FlinkCDC的大数据更新方法及系统是由张文元;任梦蝶设计研发完成，并于2025-07-09向国家知识产权局提交的专利申请。

本一种基于Kafka和FlinkCDC的大数据更新方法及系统在说明书摘要公布了：本公开涉及数据库技术领域，提供了一种基于Kafka和FlinkCDC的大数据更新方法及系统，所述方法包括配置模块接收数据源环境配置，建立连接通道；FlinkCDC捕获变更数据，对变更数据进行处理；KafkaTopic接收更新消息，按消息类型写入相应专用消息队列；Flink作业管理模块对消息队列进行处理；目标数据库基于处理结果对大数据进行更新。将FlinkCDC捕获的变更事件按表类型分发至独立KafkaTopic，实现物理隔离，按消息类型写入相应专用消息队列，实现了物理隔离与流量分级管控，可以确保主表数据优先处理。

本发明授权一种基于Kafka和FlinkCDC的大数据更新方法及系统在权利要求书中公布了：1.一种基于Kafka和FlinkCDC的大数据更新方法，其特征在于，包括： 步骤S1：配置模块接收数据源环境配置，建立连接通道：接收用户通过配置模板定义的数据信息；对数据信息进行解析和登记，建立对源数据库的连接通道；其中，数据信息包括：源数据库类型及连接参数、目标数据库类型及地址和各数据表的类型定义； 步骤S2：FlinkCDC接收数据源的实时数据变更流，分别通过预先配置的捕获组件获取主表和子表的变更；将变更数据进行格式化处理，得到主表更新消息和子表更新消息； 步骤S3：KafkaTopic接收主表更新消息，将其写入预先建立的主表专用KafkaTopic中进行存储和传输，得到针对主表数据变更的异步消息队列，其中，主表专用KafkaTopic采用多分区高吞吐策略；并接收子表更新消息，将其写入预先建立的子表专用KafkaTopic中进行存储和传输，得到针对子表数据变更的异步消息队列，其中，子表专用KafkaTopic采用紧凑存储策略； 步骤S4：Flink作业管理模块对主表数据变更的异步消息队列和子表数据变更的异步消息队列进行处理，得到处理结果； 步骤S5：目标数据库通过建立的连接通道，利用处理结果更新数据库； 所述目标数据库是包含多个目标数据库分片； 在步骤S4之后，步骤S5之前，所述方法还包括：Flink作业管理模块采用窗口分片算法，按事件时间窗口划分数据批次，结合主键哈希值将高优任务执行结果和低优任务执行结果进行数据分片，其中，数据分片数等于目标数据库分片数； 所述步骤S5具体包括： 各目标数据库分片接收高优任务执行结果或低优任务执行结果，以及两阶段提交协调器发出的预提交指令，将数据更新操作写入自身的事务缓冲区中进行预提交处理，得到预提交执行结果； 两阶段提交协调器接收各目标数据库分片返回的预提交结果，在确定所有分片的预提交均成功完成时，将全局提交指令发送至所有目标数据库分片以提交事务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人安徽青际科技有限公司，其通讯地址为：230001 安徽省合肥市高新区兴园社区服务中心科学大道55号综合楼3楼安徽广电企服中心A1700号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。