买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中山大学申请的专利一种基于MPI-IO的MapReduce溢写改善方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114116293B 。

龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111208323.6，技术领域涉及：G06F11/07；该发明授权一种基于MPI-IO的MapReduce溢写改善方法是由卢宇彤;颜承橹;陈志广;刘志勇设计研发完成，并于2021-10-18向国家知识产权局提交的专利申请。

本一种基于MPI-IO的MapReduce溢写改善方法在说明书摘要公布了：本发明公开了一种基于MPI‑IO的MapReduce溢写改善方法，该方法包括：Map端MPI进程从目标文件读取数据集切片；Map端MPI进程运行Map任务，对数据切片做映射处理并对映射处理结果进行分区，得到分区后的键值对；判断到映射处理结果大小超出内存容量阈值，Map端执行溢写操作，将分区排序后的键值对并行溢写到同一磁盘文件上，得到溢写处理结果；Reduce端MPI进程拉取Map端的溢写处理结果并使用Reduce任务对键值对做归约处理，得到Reduce处理结果；Reduce端将Reduce处理结果写入磁盘。本发明通过并行写一个大文件的方法将多个MPI进程的IO请求聚合，减少了大量的文件读写，同时还能避免过多中间文件的产生，缓解了元数据服务器的压力。本发明可广泛应用于大数据处理框架和高性能计算领域。

本发明授权一种基于MPI-IO的MapReduce溢写改善方法在权利要求书中公布了：1.一种基于MPI-IO的MapReduce溢写改善方法，其特征在于，包括以下步骤： S1、Map端MPI进程从目标文件读取数据集切片； S2、Map端MPI进程运行Map任务，对数据切片做映射处理并对映射处理结果进行分区，得到分区后的键值对； S3、判断到映射处理结果大小超出内存容量阈值，Map端执行溢写操作，将分区排序后的键值对并行溢写到同一磁盘文件上，得到溢写处理结果； S4、Reduce端MPI进程拉取Map端的溢写处理结果并使用Reduce任务对键值对做归约处理，得到Reduce处理结果； S5、Reduce端将Reduce处理结果写入磁盘； 所述判断到映射处理结果大小超出内存容量阈值，Map端执行溢写操作，将分区排序后的键值对并行溢写到同一磁盘文件上，得到溢写处理结果这一步骤，其具体包括： S31、判断到映射处理结果大小超出内存容量阈值，在磁盘上创建r个溢写文件； S32、每个MPI进程产生r个将映射处理结果中r个分区的键值对写入磁盘的IO请求； S33、MPI-IO将不同MPI进程中写往同一溢写文件的IO请求进行聚合； S34、基于MPI-IO中间件向系统发起POSIXAPI调用，根据MPI进程的进程号和写文件偏移量，将不同MPI进程内属于相同哈希分区的键值对写到溢写文件的不同区域； S35、返回步骤S33直至Map操作生成的所有映射均已写完； S36、将溢写文件内的键值对根据键值进行排序，并对相同键值的数据进行规约，得到溢写处理结果； 在使用MPI-IO接口进行文件的并行写时，每个MPI进程将写入的文件头、绝对偏移量、数据大小、数据类型和进程状态发送出去，由MPI-IO接口统一管理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学，其通讯地址为：510275 广东省广州市海珠区新港西路135号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。