数字郑州科技有限公司常跃轶获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉数字郑州科技有限公司申请的专利一种基于FLink CDC将业务标签数据实时转换为数仓宽表的方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117033375B 。
龙图腾网通过国家知识产权局官网在2026-02-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310928817.4,技术领域涉及:G06F16/22;该发明授权一种基于FLink CDC将业务标签数据实时转换为数仓宽表的方法是由常跃轶;张帆;王振东;孟旭;郝亮;牛智鹏;叶艳;董珊;申佳佳;宋建凯;郝帅鹏;安家威设计研发完成,并于2023-07-26向国家知识产权局提交的专利申请。
本一种基于FLink CDC将业务标签数据实时转换为数仓宽表的方法在说明书摘要公布了:本发明属于数据库技术领域,公开一种基于FLinkCDC将业务标签数据实时转换为数仓宽表的方法,包括:通过FLinkCDC实时捕获业务系统用户标签关系窄表的数据变化,在宽表中实时创建标签字段,将用户和标签值更新存入分析型数据库中,从而实现标签窄表转宽表。本发明将业务系统表实时转换成分析数据库中的宽表,在拥有亿级用户数十万标签的场景下能够将标签宽表的构建延迟从天级降低到秒级,使得业务管理员为用户创建完成的标签能够立即进行查询,提高查询速度,降低数据库执行时间,节约计算资源。
本发明授权一种基于FLink CDC将业务标签数据实时转换为数仓宽表的方法在权利要求书中公布了:1.一种基于FLinkCDC将业务标签数据实时转换为数仓宽表的方法,其特征在于,包括: 通过FLinkCDC实时捕获业务系统用户标签关系窄表的数据变化,在宽表中实时创建标签字段,将用户和标签值更新存入分析型数据库中,从而实现标签窄表转宽表; 该方法具体包括: 步骤1,作业配置:开发FLinkCDC作业,设置作业名称;设置源端Mysql和目标端Doris的配置信息;设置源表的主键字段、标签名称字段、标签值字段,目标表的主键字段,可选配置项:自动生成目标列的前缀名称,根据字段值过滤条件; 步骤2,创建Flink流式作业环境; 步骤3,根据步骤1中的配置创建Mysql数据源,并设置流式作业环境的数据源为Mysql数据源; 步骤4,根据步骤1中配置创建DorisTagSink对象,设置序列化格式为json,并设置流式作业环境的目标端为DorisTagSink对象; 步骤5,配置作业名称,提交作业到部署的环境中; 步骤6,调用DorisTagSink的createWriter方法创建DorisTagWriter对象; 步骤7,DorisTagWriter对象调用modifyColumnNameList方法,获取目标Doris表中现有字段并保存到tagTableColNameList; 步骤8,读取数据源中的数据,根据步骤4中的设置,将每一条数据转换为json格式; 步骤9,判断步骤8中转换后的json数据中: 如果数据状态是新增或历史数据,则从json数据中获取步骤1中配置的源表的主键字段、标签名称字段、标签值字段对应的值,设置目标列的前缀名称+标签名称字段对应的值为目标表列名,并构建json格式的发送数据{目标表的主键字段:源表的主键字段对应的值,目标表列名:标签值字段对应的值}; 如果数据状态为删除,则从json数据中获取步骤1中配置的源表的主键字段、标签名称字段对应的值,设置目标列的前缀名称+标签名称字段对应的值为目标表列名,并构建json格式的发送数据{目标表的主键字段:源表的主键字段对应的值,目标表列名:""};其中""代表空字符串; 步骤10,判断步骤7中tagTableColNameList是否包含生成的数据里目标表列名,如果不存在则调用executeDdl方法为目标表增加列名为目标表列名的列并调用modifyColumnNameList方法更新tagTableColNameList字段,存在则无需处理; 步骤11,将步骤9中生成的数据调用writeRecord方法写入缓存中; 步骤12,当缓存中数据量达到设置的阈值,则将数据写入Doris中。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人数字郑州科技有限公司,其通讯地址为:450000 河南省郑州市河南自贸试验区郑州片区(郑东)中兴南路与商鼎路交汇处新发展科创大厦24、25层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励