买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉安徽南瑞中天电力电子有限公司申请的专利一种基于Spark的多组件数据同步和处理方法、系统、工具获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115809299B 。

龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211497067.1，技术领域涉及：G06F16/27；该发明授权一种基于Spark的多组件数据同步和处理方法、系统、工具是由夏靖;何义赟;程飞;马俊;汤骁;秦浩翔;丁作龙;朱雪峰;钱程;王晓亮设计研发完成，并于2022-11-25向国家知识产权局提交的专利申请。

本一种基于Spark的多组件数据同步和处理方法、系统、工具在说明书摘要公布了：本发明属于大数据处理领域，具体涉及一种基于Spark的多组件数据同步和处理方法、系统、工具。该方法包括如下步骤：步骤一：在数据源管理界面中完成组件的数据源信息的配置并通过连通性验证；步骤二：选择某个不同数据源下表生成表节点，并完成不同表节点之间的连接；步骤三：完成同步参数配置并生成对应的参数信息；步骤四：通过安全认证模块对提交的配置信息进行安全认证；步骤五：根据参数信息初始化SparkConf以及Configuration；步骤六：将数据包和任务参数提交到DolphinScheduler或Yarn中以生成对应的Spark任务；并完成相应的数据同步；步骤七：Spark递归解析任务参数信息，然后读取源表数据，并写入到目标表中。解决现有方案在多组件数据的同步和处理过程不便、效率低的问题。

本发明授权一种基于Spark的多组件数据同步和处理方法、系统、工具在权利要求书中公布了：1.一种基于Spark的多组件数据同步和处理方法，其用于在不同组件间进行数据同步，执行多种函数处理任务，以及对任务配置过程进行可视化；所述多组件数据同步和处理方法包括如下步骤： 步骤一：采用Spark作为数据管理平台，在数据源管理界面中，完成组件的数据源信息的配置并通过连通性验证； 步骤二：在任务配置管理界面中选择某个数据源下的一张表，用拖拉拽的方式在画布中生成一个对应的表节点；用同样的方式生成另一个表节点，并完成两个表节点之间的连接； 步骤三：用户双击两个表节点完成同步参数配置，并由参数生成模块会生成对应的参数信息； 步骤四：在用户点击提交后，通过安全认证模块对提交的配置信息进行安全认证； 步骤五：参数处理模块接收到参数信息后，根据参数信息对SparkConf以及Configuration进行初始化； 步骤六：初始化后将大数据包和大数据任务参数提交到DolphinScheduler或Yarn中以生成对应的Spark任务；并完成相应的数据同步；数据的跨组件同步过程中，传递给大数据包的任务参数的格式为：{“spark_param”:{},“left_child”:{},“right_child”:{},“sink”:{}}；“spark_param”表示spark中的系统参数项；“left_child”和“right_child”代表源表节点，若“right_child”为空代表单表之间的数据同步，若“left_child”和“right_child”都不为空则代表是两表关联后再写入“sink”目标表中；其中，“left_child”和“right_child”采用嵌套结构，以满足多表关联的需求； 步骤七：Spark递归解析任务参数信息，然后读取源表数据，并写入到目标表中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人安徽南瑞中天电力电子有限公司，其通讯地址为：230088 安徽省合肥市高新区创新大道2800号合肥创新产业园二期G1楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。