Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 北京亚鸿世纪科技发展有限公司林飞获国家专利权

北京亚鸿世纪科技发展有限公司林飞获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉北京亚鸿世纪科技发展有限公司申请的专利大数据应用下高并发数据的数据同步方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115757644B

龙图腾网通过国家知识产权局官网在2026-01-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211586636.X,技术领域涉及:G06F16/27;该发明授权大数据应用下高并发数据的数据同步方法及装置是由林飞;何涛;易永波;古元;毛华阳;华仲峰设计研发完成,并于2022-12-12向国家知识产权局提交的专利申请。

大数据应用下高并发数据的数据同步方法及装置在说明书摘要公布了:大数据应用下高并发数据的数据同步装置涉及信息技术领域。本发明由数据采集模块、待下发数据生成模块、数据下发模块、数据处理模块、数据结果返回模块、数据判断模块、数据处理结果入库模块和数据关联模块组成;本发明具有多批次高并发数据并且数据同步返回的能力,保证了数据处理的实时性和数据填充率。

本发明授权大数据应用下高并发数据的数据同步方法及装置在权利要求书中公布了:1.大数据应用下高并发数据的数据同步装置,其特征在于由数据采集模块、待下发数据生成模块、数据下发模块、数据处理模块、数据结果返回模块、数据判断模块、数据处理结果入库模块和数据关联模块组成; 数据采集模块接收外部传递过来的任务号,从分布式关系型数据库根据任务号过滤本次需要处理的数据,本次需要处理的数据即外部系统下发的待溯源的数据,采集到大数据集群环境中,入库到大数据数据仓库原始库层,数据表为分区表,分区字段对应值为任务号; 待下发数据生成模块接收外部传递过来的任务号,进行批次号的生成,将当前时间加四位随机数字作为批次号,将原始库层数据,以任务号对分区进行过滤,并统计当前数据量作为批次总量,并写入到分布式关系型数据库的调度流程控制参数表,调度流程控制参数表至少包含任务号、批次号、批次总量、批次状态,批次状态包含:批次产生、初始化、已下发、已处理、已入库,新产生的批次数据批次状态置为批次产生; 待下发数据生成模块利用大数据计算引擎,将原始库层数据分为事实表,维度表,都打标上批次号,入库到大数据数据仓库中,结果为作为一级分区表的事实表和作为一级分区表的维度表,分区字段为批次号;事实表为明细粒度事实层,维度表为公共维度层;处理完成后更新分布式关系型数据库的调度流程控制参数表,置批次状态为初始化; 数据下发模块接收待下发数据生成模块传递过来的批次数据,从数据仓库中明细粒度事实层以分区字段为批次号进行过滤,然后逐条遍历过滤后数据,字段间以特殊符号进行拼接,特殊符号为选定为拼接符号的计算机特殊符号;创建生产者,将已经处理后的明细粒度事实层数据,逐条遍历,发送到大数据消息队列的待处理主题,本批次处理完成后,更新调度流程控制参数表,将批次状态置为已下发; 数据处理模块读取大数据消息队列的待处理主题的数据,进行逻辑处理后,写入到大数据消息队列的处理结果数据特定主题;根据业务逻辑不同设定多个逻辑处理子模块,当逻辑处理子模块对应的业务逻辑为域名查询时,创建消费者,以同一个业务在同一个数据消费者组下,不同的业务在不同数据消费者组下为原则,从大数据消息队列的待处理主题读取数据;处理逻辑,逐条解析数据,以特殊符号切割域名对应的特定字段,进行数据处理,将处理结果返回值进行封装,以特殊符号拼接;创建生产者,将拼接后的处理结果返回值,发送到大数据消息队列的处理结果数据特定主题;当逻辑处理子模块对应的业务逻辑为调用备案接口时,创建消费者,以同一个业务在同一个数据消费者组下,不同的业务在不同数据消费者组下为原则,从大数据消息队列的待处理主题读取数据;处理逻辑,逐条解析数据,以特殊符号切割备案接口对应的特定字段,进行数据处理,将处理结果返回值进行封装,以特殊符号拼接;创建生产者,将拼接后的处理结果返回值,发送到大数据消息队列的处理结果数据特定主题;当逻辑处理子模块对应的业务逻辑为查询域名是否已经被注册时,创建消费者,以同一个业务在同一个数据消费者组下,不同的业务在不同数据消费者组下为原则,从大数据消息队列的待处理主题读取数据;处理逻辑,逐条解析数据,以特殊符号切割已注册域名对应的特定字段,进行数据处理,将处理结果返回值进行封装,以特殊符号拼接;创建生产者,将拼接后的处理结果返回值,发送到大数据消息队列的处理结果数据特定主题;当逻辑处理子模块对应的业务逻辑为查询域名详细信息时,创建消费者,以同一个业务在同一个数据消费者组下,不同的业务在不同数据消费者组下为原则,从大数据消息队列的待处理主题读取数据;处理逻辑,逐条解析数据,以特殊符号切割域名详细信息对应的特定字段,进行数据处理,将处理结果返回值进行封装,以特殊符号拼接;创建生产者,将拼接后的处理结果返回值,发送到大数据消息队列的处理结果数据特定主题; 数据结果返回模块读取大数据消息队列的处理结果数据特定主题,写入到大数据分布式存储系统; 数据判断模块读取当前时间范围内的本批次大数据分布式存储系统的处理结果数据,本批次待下发数据,根据模块的优先级,进行对比,判断当前的批次数据是否处理完成,在当前的批次数据处理完成的前提下,进行下一个流程;在当前的批次数据处理未完成的前提下,判断当前判断模块处理时间是否超过预先定义的超时时间,超过预先定义的超时时间则进行下一个流程;未超过预先定义的超时时间,则休眠一个周期后,再进行下一个循环,再读取当前时间范围内的本批次数据处理结果和本批次待下发数据进行对比;当前时间范围包括:当前时间前1个小时加当前时间当前小时加当前时间后1个小时; 数据处理结果入库模块读取当前时间范围本批次大数据分布式存储系统的处理结果数据,进行合并去重后,入库到大数据数据仓库-数据处理结果表中; 数据关联模块读取本批次数据仓库中的数据处理结果数据、本批次事实数据表、本批次维度数据表,以本批次事实数据表为主表,左关联本批次维度数据表、本批次处理结果数据,形成最终结果。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京亚鸿世纪科技发展有限公司,其通讯地址为:100095 北京市海淀区高里掌路3号院2号楼2层201-1至201-8号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。