买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉鹏城实验室申请的专利基于Spark的大规模数据全局去重方法、电子设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116561110B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310439940.X，技术领域涉及：G06F16/215；该发明授权基于Spark的大规模数据全局去重方法、电子设备及介质是由邓凌风;张水勇;耿林;徐春香;王晖;余跃设计研发完成，并于2023-04-18向国家知识产权局提交的专利申请。

本基于Spark的大规模数据全局去重方法、电子设备及介质在说明书摘要公布了：本申请提出一种基于Spark的大规模数据去重方法、电子设备和存储介质，通过将大规模语料数据进行预处理，将预处理后得到的第一处理文档存储至不同存储分区，再在各个存储分区内对第一处理文档进行分组，从而排除大量完全不相关的文档，再进行相似检测得到每个第一处理文档的相似对，并在文档分组、存储分区以及全局三种粒度上对相似对进行合并，在文档分组和存储分区的粒度上通过分布式并行运行的方法对相似对进行高效率合并，大大减少系统全局粒度上合并的计算量，从而实现对大规模数据的高效率模糊去重。

本发明授权基于Spark的大规模数据全局去重方法、电子设备及介质在权利要求书中公布了：1.一种基于Spark的大规模数据全局去重方法，其特征在于，所述方法包括： 对大规模数据进行预处理，得到多个第一处理文档，并将所述第一处理文档分别存储至多个存储分区中； 在各个存储分区中对所述第一处理文档进行分组，得到多个文档分组； 在各个所述文档分组内对所述第一处理文档进行相似检测，得到多个相似对； 根据所述第一处理文档的预配置的全局编号确定每个所述相似对的最小归并相似对，并将指向同一所述最小归并相似对的所有相似对合并，得到分组相似集； 根据所述第一处理文档的全局编号确定每个所述分组相似集的最小归并分组集，并将指向同一所述最小归并分组集的所有分组相似集合并，得到分区相似集； 根据所述第一处理文档的全局编号确定每个所述分区相似集的最小归并分区集，并将指向同一所述最小归并分区集的所有分区相似集合并，得到全局相似集，并通过第二处理文档记录每个所述全局相似集中的所有所述第一处理文档的所述全局编号； 从所述第二处理文档中去除每个所述全局相似集中的第一个所述全局编号，并将所有所述全局相似集中的余下的所有所述全局编号汇总，得到待消除文档编号集，将所述待消除文档编号集广播至各个所述存储分区中； 在各个所述存储分区中，根据所述待消除文档编号集对所述第一处理文档进行过滤操作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人鹏城实验室，其通讯地址为：518000 广东省深圳市南山区兴科一街2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。