买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳船奇科技有限公司申请的专利一种并行解析业务库日志的实时数仓ETL方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115168468B 。

龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210803069.2，技术领域涉及：G06F16/25；该发明授权一种并行解析业务库日志的实时数仓ETL方法是由尤齐城;王德林;沈喜仔设计研发完成，并于2022-07-07向国家知识产权局提交的专利申请。

本一种并行解析业务库日志的实时数仓ETL方法在说明书摘要公布了：本发明公开了一种并行解析业务库日志的实时数仓ETL方法，并行解析业务库日志的实时数仓ETL方法包括业务库产生变更日志、日志解析服务解析并回放变更日志、日志解析服务发送解析结构到消息队列、实时同步程序消费消息队列中的数据，实现数据同步。该并行解析业务库日志的实时数仓ETL方法，其业界在在日志解析过程中，为了实现精确一次，基本保持串行解析方式，这种方式在高负载下会严重延迟，采用并行替代串行，吞吐量更高，而采用串行方式解析日志，同时存在对单核cpu性能的依赖，即使服务器是多核的，也无法充分利用资源，并行解析可使用更为廉价的cpu，降低使用成本，可跨服务器部署，利用更为廉价的服务器并行解析，实现横向扩展。

本发明授权一种并行解析业务库日志的实时数仓ETL方法在权利要求书中公布了：1.一种并行解析业务库日志的实时数仓ETL方法，其特征在于：所述并行解析业务库日志的实时数仓ETL方法包括业务库产生变更日志、日志解析服务解析并回放变更日志、日志解析服务发送解析结构到消息队列、实时同步程序消费消息队列中的数据，实现数据同步，具体操作如下： 第一步：业务库产生变更日志1判断数据页是否在内存中，若为否，则从磁盘读取数据到内存中，返回数据行； 2若是数据页在内存中，则直接返回数据行； 3执行数据更新操作； 4数据写入内存，同时redolog写入到内存； 5执行commit操作,此commit是SQL命令操作，而不是数据的commit状态； 6执行commit命令之后，则进行两段提交操作； 7写入内存中的redolog到磁盘中，此时redolog处于prepare状态； 8写入日志文件到磁盘； 9提交事务，此时事务处于commit状态； 第二步：日志解析服务解析并回放变更日志1首先会启动一个心跳线程，该心跳线程只作用于parser模块和sink模块，每秒向sink模块推送一个心跳报文； 2在创建与数据库节点的连接之前，需要做一些准备工作，确定日志文件的FORMAT以及日志文件_row_image参数的值； 3建立与数据库的连接，在instance.properties文件中会配置Master的地址端口以及对应的数据库用户名密码，此处就是利用这些信息建立与Master的连接； 4获取到数据库的ServerId； 5获取最后的位置信息，也就是上一次与Master通信后读取到的日志文件的位置，该位置信息也会写入meta.dat文件中，因此如果内存中没有，会尝试从该文件中读取； 6重新链接，因为在找position过程中可能有状态变更，需要断开后重建； 7调用dump方法开始获取pbinglog数据，同时注册一个回调事件用于接收返回的日志文件数据； 8sleep10秒，重新执行上述第二步的内容； 第三步：日志解析服务发送解析结构到消息队列1当有第二步中回调事件返回时，处理流程为调用日志文件Parser类的parse方法将返回的二进制日志文件数据LogEvent,解析成canal封装好的Entry事件，LogEvent中包含一个事件类型eventType，详细区分了该事件是查询操作还是写操作，或者是心跳各种类型； 2调用EventTransactionBuffer类的add方法将Entry事件添入一个大小为1024的ringbuffer中，EventTransactionBuffer会把ringbuffer中的Entry事件推送到sink模块； 第四步：实时同步程序消费消息队列中的数据，实现数据同步1同步程序按批次时间拉取消息队列中的数据； 2根据数据的唯一性对数据进行去重操作； 3使用开源的API写入到数据库中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳船奇科技有限公司，其通讯地址为：518000 广东省深圳市南山区桃源街道塘朗社区塘长路田寮大厦1003-1004；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。