Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 中山大学卢宇彤获国家专利权

中山大学卢宇彤获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉中山大学申请的专利一种基于MPI-IO的MapReduce溢写改善方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114116293B

龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111208323.6,技术领域涉及:G06F11/07;该发明授权一种基于MPI-IO的MapReduce溢写改善方法是由卢宇彤;颜承橹;陈志广;刘志勇设计研发完成,并于2021-10-18向国家知识产权局提交的专利申请。

一种基于MPI-IO的MapReduce溢写改善方法在说明书摘要公布了:本发明公开了一种基于MPI‑IO的MapReduce溢写改善方法,该方法包括:Map端MPI进程从目标文件读取数据集切片;Map端MPI进程运行Map任务,对数据切片做映射处理并对映射处理结果进行分区,得到分区后的键值对;判断到映射处理结果大小超出内存容量阈值,Map端执行溢写操作,将分区排序后的键值对并行溢写到同一磁盘文件上,得到溢写处理结果;Reduce端MPI进程拉取Map端的溢写处理结果并使用Reduce任务对键值对做归约处理,得到Reduce处理结果;Reduce端将Reduce处理结果写入磁盘。本发明通过并行写一个大文件的方法将多个MPI进程的IO请求聚合,减少了大量的文件读写,同时还能避免过多中间文件的产生,缓解了元数据服务器的压力。本发明可广泛应用于大数据处理框架和高性能计算领域。

本发明授权一种基于MPI-IO的MapReduce溢写改善方法在权利要求书中公布了:1.一种基于MPI-IO的MapReduce溢写改善方法,其特征在于,包括以下步骤: S1、Map端MPI进程从目标文件读取数据集切片; S2、Map端MPI进程运行Map任务,对数据切片做映射处理并对映射处理结果进行分区,得到分区后的键值对; S3、判断到映射处理结果大小超出内存容量阈值,Map端执行溢写操作,将分区排序后的键值对并行溢写到同一磁盘文件上,得到溢写处理结果; S4、Reduce端MPI进程拉取Map端的溢写处理结果并使用Reduce任务对键值对做归约处理,得到Reduce处理结果; S5、Reduce端将Reduce处理结果写入磁盘; 所述判断到映射处理结果大小超出内存容量阈值,Map端执行溢写操作,将分区排序后的键值对并行溢写到同一磁盘文件上,得到溢写处理结果这一步骤,其具体包括: S31、判断到映射处理结果大小超出内存容量阈值,在磁盘上创建r个溢写文件; S32、每个MPI进程产生r个将映射处理结果中r个分区的键值对写入磁盘的IO请求; S33、MPI-IO将不同MPI进程中写往同一溢写文件的IO请求进行聚合; S34、基于MPI-IO中间件向系统发起POSIXAPI调用,根据MPI进程的进程号和写文件偏移量,将不同MPI进程内属于相同哈希分区的键值对写到溢写文件的不同区域; S35、返回步骤S33直至Map操作生成的所有映射均已写完; S36、将溢写文件内的键值对根据键值进行排序,并对相同键值的数据进行规约,得到溢写处理结果; 在使用MPI-IO接口进行文件的并行写时,每个MPI进程将写入的文件头、绝对偏移量、数据大小、数据类型和进程状态发送出去,由MPI-IO接口统一管理。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中山大学,其通讯地址为:510275 广东省广州市海珠区新港西路135号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。