南威软件股份有限公司吴志雄获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南威软件股份有限公司申请的专利一种实现大数据统计的可视化处理方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117150163B 。
龙图腾网通过国家知识产权局官网在2026-03-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311019251.X,技术领域涉及:G06F16/957;该发明授权一种实现大数据统计的可视化处理方法及装置是由吴志雄;徐春梅;张婉如设计研发完成,并于2023-08-14向国家知识产权局提交的专利申请。
本一种实现大数据统计的可视化处理方法及装置在说明书摘要公布了:本发明提供了一种实现大数据统计的可视化处理方法及装置,方法包括在NIFI上消费第一Kafka的topic中的原始过车数据,处理原始过车数据的统计字段,将处理后的结果流发送到第二Kafka的topic;在KYLIN上创建一个数据源表,数据源表的数据来源选择第二Kafka的topic;根据统计需求定义Model和Cube,构建Cube得到预计算结果数据;在NIFI上获取KYLIN得到的预计算结果数据,定义一个流程对获取的预计算结果数据进行处理,将处理后的最终数据存入中间表。本发明的优点:能够给使用者提供直观的web界面操作和管理,且无需繁琐的代码开发,能够有效降低开发周期和开发成本,后期维护也十分方便,同时可以提高查询效率和性能。
本发明授权一种实现大数据统计的可视化处理方法及装置在权利要求书中公布了:1.一种实现大数据统计的可视化处理方法,其特征在于:所述处理方法包括如下步骤: 步骤S1、在NIFI上消费第一Kafka的topic中的原始过车数据,处理原始过车数据的统计字段,将处理后的结果流发送到第二Kafka的topic; 步骤S2、在KYLIN上创建一个数据源表,数据源表的数据来源选择第二Kafka的topic;根据统计需求定义Model和Cube,构建Cube得到预计算结果数据; 步骤S3、在NIFI上获取KYLIN得到的预计算结果数据,定义一个流程对获取的预计算结果数据进行处理,将处理后的最终数据存入中间表,具体包括: 步骤S31、数据表查询组件执行SQL语句,获取数据源表的预计算结果数据; 步骤S32、Avro转JSON组件将预计算结果数据转换为可操作的JSON格式的流文件; 步骤S33、JSON拆分组件将转换后的流文件拆分成多个JSON格式的流文件; 步骤S34、将属性提取组件的组件属性Destination设置为flowfile-attribute,并从拆分的流文件中提取出需要使用的数据字段放在自定义的流属性中; 步骤S35、属性更新组件更新属性id; 步骤S36、属性哈希值加密组件使用MD5算法计算属性id的哈希值作为数据主键; 步骤S37、通过映射缓存获取组件获取缓存中的设备、点位和区域信息; 步骤S38、将文本替换组件的组件属性EvaluationMode设置为Line-by-Line,并使用设备、点位和区域信息替换流文件的内容,使属性提取组件能够获取设备、点位和区域信息的属性; 步骤S39、通过属性更新组件添加属性的SQL语句,SQL执行组件执行SQL语句将处理后的最终数据存入中间表。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南威软件股份有限公司,其通讯地址为:362000 福建省泉州市丰泽区丰海路南威大厦2号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励