阿里云计算有限公司刘世豪获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉阿里云计算有限公司申请的专利数据处理方法、装置、电子设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116339987B 。
龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310260602.X,技术领域涉及:G06F9/50;该发明授权数据处理方法、装置、电子设备及存储介质是由刘世豪;于海涛;王远;李飞飞设计研发完成,并于2023-03-10向国家知识产权局提交的专利申请。
本数据处理方法、装置、电子设备及存储介质在说明书摘要公布了:本申请提供了一种数据处理方法、装置、电子设备及存储介质,涉及云计算技术领域,该方法包括:根据待处理数据的多个字段分别对应的字段类型,确定多个字段占用的内存大小;基于多个字段占用的内存大小、总内存大小和中央处理器的核心数量,确定数据处理的分片大小;根据分片大小,利用多个线程并行处理待处理数据。本实施例中,根据待处理数据的多个字段占用的内存大小、总内存大小和中央处理器的核心数量,自适应确定数据处理的分片大小,不需要人工调整分片大小,而且可以在并行处理数据时做到对内存的合理应用,提高内存使用率,降低内存溢出的风险,使并行操作更加稳定高效。
本发明授权数据处理方法、装置、电子设备及存储介质在权利要求书中公布了:1.一种数据处理方法,所述方法包括: 根据待处理数据的多个字段分别对应的字段类型,确定所述多个字段分别对应的占用内存最大的数据行占用的内存大小; 根据所述多个字段分别对应的占用内存最大的数据行占用的内存大小,确定所述多个字段占用的内存大小; 基于所述多个字段占用的内存大小、总内存大小和中央处理器的核心数量,确定数据处理的分片大小; 在所述待处理数据中确定唯一键字段对应的起始位置和终止位置; 根据所述起始位置、所述终止位置和所述分片大小,将所述待处理数据划分为多个分片数据; 根据所述分片大小,利用多个线程并行处理所述待处理数据,包括: 根据所述分片大小,将所述待处理数据划分为多个分片数据; 利用多个线程并行处理所述多个分片数据,所述线程的数量大于所述中央处理器的核心数量,且所述线程的数量为所述中央处理器的核心数量的倍数; 所述根据所述起始位置、终止位置和分片大小,将所述待处理数据划分为多个分片数据,包括: 根据所述分片大小,在所述起始位置和所述终止位置之间确定多个分片位置; 根据所述起始位置、所述终止位置和所述多个分片位置,将所述待处理数据划分为多个分片数据; 所述基于所述多个字段占用的内存大小、总内存大小和中央处理器的核心数量,确定数据处理的分片大小,包括: 根据所述总内存大小和中央处理器的核心数量,确定利用每个中央处理器的核心进行数据处理的总字节数; 根据利用每个中央处理器的核心进行数据处理的总字节数和所述多个字段占用的内存大小,确定数据处理的分片大小。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人阿里云计算有限公司,其通讯地址为:310000 浙江省杭州市西湖区转塘科技经济区块12号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。