Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 浙江邦盛科技股份有限公司;杭州邦睿科技有限公司战亚楠获国家专利权

浙江邦盛科技股份有限公司;杭州邦睿科技有限公司战亚楠获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉浙江邦盛科技股份有限公司;杭州邦睿科技有限公司申请的专利一种Flink关于CDC数据维表延迟关联实现方法、系统、装置及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116910079B

龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310948871.5,技术领域涉及:G06F16/23;该发明授权一种Flink关于CDC数据维表延迟关联实现方法、系统、装置及存储介质是由战亚楠;王刚;王新根;汪陈笑;马顺华设计研发完成,并于2023-07-31向国家知识产权局提交的专利申请。

一种Flink关于CDC数据维表延迟关联实现方法、系统、装置及存储介质在说明书摘要公布了:本发明公开了一种Flink关于CDC数据维表延迟关联实现方法、系统、装置及存储介质,事实表和维表数据均从数据库同步,并实现维表数据更新;在维表同步速度晚于事实表的情况下,在一定时间范围内能够成功实现数据关联;能够解决通过CDC方式同步的事实表,当同一主键的多条数据维表关联,如果第一条关联失败,后边关联成功,导致数据乱序的问题。本发明主要对使用数据库做数据存储并使用CDC技术采集数据做关联的业务场景,在维度表数据更新延迟从小时级变为秒级;能够保证在特定时间范围内当维度表数据晚于事实表数据的情况下,数据关联的准确性;当数据在特定时间范围内关联失败,能够收集异常数据,保证数据的完整性。

本发明授权一种Flink关于CDC数据维表延迟关联实现方法、系统、装置及存储介质在权利要求书中公布了:1.一种Flink关于CDC数据维表延迟关联实现方法,其特征在于,该方法包括以下步骤: 1将事实表和维度表数据产生存储在业务数据库中; 2业务数据同步到Kafka队列:通过Flink框架和CDC技术实现流式数据同步,分别采集维表和事实表变更日志到Kafka的不同Topic中; 3维度表数据同步:通过配置Flink作业消费Kafka中维表数据输出到维表数据库中; 4消费实时表数据:通过配置Flink作业,分别从事实表的Topic和延迟队列的Topic中消费数据; 5根据条件关联维度表:在步骤4接收到数据后,根据维表主键从维表数据库关联维度信息,并把关联条件处理后当做关联主键添加到数据中; 6关联维度表成功判断:根据查询结果判断是否关联成功,如果关联成功,数据继续执行后续处理,如果关联失败,需要执行重试操作,把数据存放到缓存系统; 7关联缓存标记存在:当关联维度表成功后,根据关联主键查看缓存系统,缓存主键是否存在,如果不存在,表示数据都正常关联成功,直接输出到宽表队列;如果存在,说明存在关联失败数据,为了保证相同主键的数据顺序一致,需要进一步做判断处理,当数据中没有缓存系统序号时,表示该条数据顺序晚于缓存系统中数据,输出到缓存系统;如果数据中存在缓存系统序号,判断序号是否小于缓存系统当前序列号,如果小于,说明顺序早于缓存系统数据,直接输出数据到宽表队列,如果大于,需要继续输出到缓存系统,保障前边数据都关联成功并输出; 8宽表Kafka队列:事实表数据关联维表信息后的最终数据,输出到kafka的Topic中。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江邦盛科技股份有限公司;杭州邦睿科技有限公司,其通讯地址为:310012 浙江省杭州市西湖区西斗门路3号天堂软件园D幢17层ABCD座;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。