买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉兴业银行股份有限公司;兴业数字金融服务(上海)股份有限公司申请的专利跨集群版本的ETL加工需求迁移和数据验证方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116795815B 。

龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211736282.2，技术领域涉及：G06F16/21；该发明授权跨集群版本的ETL加工需求迁移和数据验证方法和系统是由赵兰英;甘论清;孙贵凡设计研发完成，并于2022-12-30向国家知识产权局提交的专利申请。

本跨集群版本的ETL加工需求迁移和数据验证方法和系统在说明书摘要公布了：本发明提供了一种跨集群版本的ETL加工需求迁移和数据验证方法和系统，将旧版本大数据集群上的原需求的逻辑代码改造为能够在具有新特性的新版本大数据集群上执行的逻辑代码；将新版本大数据集群上的改造需求的逻辑代码跑出的结果数据进行MD5转码，将旧版本大数据集群上的需求逻辑代码跑出的结果数据进行MD5转码，作为比对数据；进行比对作业的跨平台通信，启动自动传输作业流，传输需比对的MD5数据；对新、旧集群的MD5数据进行比对，自动验证数据总条数、数据内容，并输出差异数据，完成字段级比对分析。本发明高效省力地完成跨大数据集群、跨版本的改造迁移需求，减少接口迁移开发和验证的周期、接口服务并行运行的时间。

本发明授权跨集群版本的ETL加工需求迁移和数据验证方法和系统在权利要求书中公布了：1.一种跨集群版本的ETL加工需求迁移和数据验证方法，其特征在于，包括： 步骤S1：将旧版本大数据集群上的原需求的逻辑代码改造为能够在具有新特性的新版本大数据集群上执行的逻辑代码； 步骤S2：将新版本大数据集群上的改造需求的逻辑代码跑出的结果数据进行MD5转码，将旧版本大数据集群上的需求逻辑代码跑出的结果数据进行MD5转码，作为比对数据； 步骤S3：进行比对作业的跨平台通信，启动自动传输作业流，传输需比对的MD5数据； 步骤S4：对新集群、旧集群的MD5数据进行比对，自动验证数据总条数、数据内容，并输出差异数据，完成字段级比对分析； 所述步骤3包括如下步骤： 步骤S3.1：在数据传输源集群配置传输作业流和依赖，传输作业流包括：传输源集群对应MD5码值到目标集群，检测到传输完成后，在目标集群自动生成标识源集群MD5码值传输完成的通知文件； 步骤S3.2：在MD5码值数据传输的目标集群配置监控通知文件的作业，若通知文件已经存在，通知比对作业，在比对前置条件满足情况下触发步骤S4进行比对； 对旧平台使用withas语句的内容进行优化，在新平台自定义SparkSQL的UDF函数； 同时在新旧两套平台上分别加工业务数据，再进行跨平台数据传输和数据一致性比对；其中，将旧平台的业务加工脚本产出报表数据D1、新平台的业务加工脚本产出报表数据D2，即ETL结果表数据，分别在旧平台和准备迁移的新平台上生成对应的MD5表数据，即MD5码值，旧平台MD5表每一行对应报表数据D1中每一行全字段，新平台MD5表每一行对应报表数据D2中每一行全字段；在新旧两套平台中，将其中一方大数据集群平台每日生成的MD5表数据传到另一方大数据集群平台上进行一致性匹配计算，获得匹配结果，并标识出比对不一致的表数据内容，作为评估迁移脚本质量的依据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人兴业银行股份有限公司;兴业数字金融服务(上海)股份有限公司，其通讯地址为：350014 福建省福州市台江区江滨中大道398号兴业银行大厦；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。