买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海通立信息科技有限公司申请的专利GPS大量数据离线和准实时存储进MySQL数据库方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117216060B 。

龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311170938.3，技术领域涉及：G06F16/22；该发明授权GPS大量数据离线和准实时存储进MySQL数据库方法及系统是由郑浩楠设计研发完成，并于2023-09-11向国家知识产权局提交的专利申请。

本GPS大量数据离线和准实时存储进MySQL数据库方法及系统在说明书摘要公布了：本发明提供了一种GPS大量数据离线和准实时存储进MySQL数据库方法及系统，包括：步骤S1：令Kafka消息队列接收GPS上传的数据；步骤S2：令Flume数据传输通道读取Kafka数据源将数据传输到分布式文件系统hdfs上；步骤S3：将hdfs的数据移动到hive表中，在sparkonhive引擎下的同一设备数据拼接处理；步骤S4：令MySQL数据库按日期进行表分区，GPS数据离线和准实时存储进MySQL数据库。本发明可以循环保留固定天数的数据，通过MySQL的日期分区，实现快速查询。

本发明授权GPS大量数据离线和准实时存储进MySQL数据库方法及系统在权利要求书中公布了：1.一种GPS大量数据离线和准实时存储进MySQL数据库方法，其特征在于，包括： 步骤S1：令Kafka消息队列接收GPS上传的数据； 步骤S2：读取Kafka数据源将数据传输到分布式文件系统hdfs上； 步骤S3：将hdfs的数据移动到hive表中，进行数据拼接处理； 步骤S4：令MySQL数据库按日期进行表分区，将GPS数据存储至MySQL数据库； 设备时时刻刻上传GPS数据到Kafka消息队列中，通过Flume传输通道编写两个脚本读取Kafka数据源分别将同样的数据传输到hdfs上，将hdfs的数据传输到hive离线数据表和准实时数据表中做临时存储，GPS数据按照日期存储在hive表的分区中，使用Scala语言编写程序在sparkonhive下将hive表分区中的同一设备的数据拼接到一起，完成数据拼接后将拼接后的数据从hive表中写入MySQL数据库的表分区中，离线数据表的数据定时每天执行拼接写入数据库程序将T-1日数据写入数据库T-1日分区中且一个设备只有一条数据，准实时数据表的数据定时每天从固定时间点开始每隔半个小时拼接一次写入数据库，一条设备有多条数据，这样非当日的GPS数据可以直接从数据库离线数据表日期分区中按条件查询，当日的实时设备数据也可以从准实时数据表中查询，查询到的数据能够接近实时上传的GPS数据；在MySQL数据库中对离线数据表和准实时数据表都编写存储过程按当天日期创建分区，并且删除最早的一个分区，然后编写定时任务每天固定时间执行存储过程，实现离线数据表保存所需要的天数内的数据，准实时数据表仅保存当天的数据； 在数据写入MySQL数据库之前所有的处理都是在hive数据仓库进行的，在hive数据仓库完成所有的数据处理之后再写入MySQL数据库； GPS数据以设备号、日期、消息内容的格式传输到Kafka消息队列中，消息内容为Base64的编码方式，启动Flume的数据传输通道读取Kafka数据源将数据分别传输给hdfs上的离线数据存储和准实时数据存储位置，在sparkonhive的引擎下编写程序，第一步将hdfs上的数据移到hive表中，第二步为减少数据量，在hive表中将同一设备的消息内容进行拼接后重新写入hive数据仓库，为了防止在0点后有前一日的数据可能会丢失，第三步需要取出T日0点后的T-1日的数据与T-1日拼接后的数据再次拼接后写入hive表中，第四步每天凌晨再将最后hive表中的数据写入MySQL数据库中完成离线数据的存储，准实时数据存储方式同上，只是数据每天每半个小时写入一次数据库，实现准实时的数据存储。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海通立信息科技有限公司，其通讯地址为：201100 上海市闵行区都会路1699号16幢3层A301、A302；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。