买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉摩尔线程智能科技(北京)有限责任公司申请的专利内存管理方法、装置和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117667424B 。

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311774780.0，技术领域涉及：G06F9/50；该发明授权内存管理方法、装置和存储介质是由请求不公布姓名设计研发完成，并于2023-12-21向国家知识产权局提交的专利申请。

本内存管理方法、装置和存储介质在说明书摘要公布了：本公开涉及一种内存管理方法、装置和存储介质。该方法可用于分析设备，方法包括：基于神经网络模型的计算子图对应的中间表达，针对中间表达中的各算子分别确定执行算子的执行设备；基于中间表达中各算子对应的执行设备，针对不同的执行设备进行内存优化管理；基于内存优化管理的结果，生成执行设备上的目标可执行文件，目标可执行文件用于执行设备进行基于神经网络模型的训练或推理。根据本申请实施例，可以提升内存申请和执行设备间数据拷贝的效率，优化内存空间，减少数据传输的开销，可以提高模型在执行设备上运行的性能。

本发明授权内存管理方法、装置和存储介质在权利要求书中公布了：1.一种内存管理方法，其特征在于，所述方法用于分析设备，所述方法用于PyTorch框架下的即时编译JIT阶段，所述方法包括： 基于神经网络模型的计算子图对应的中间表达，针对所述中间表达中的各算子分别确定执行所述算子的执行设备，所述中间表达为多级中间表达MLIR； 基于所述中间表达中各算子对应的执行设备，针对不同的执行设备进行内存优化管理，其中，以算子优先在GPU上运行为准则进行执行设备的划分，在中间表达指示算子的输入张量和或输出张量的内存类型为GPU内存的情况下，该算子对应的执行设备为GPU；在该算子的输入张量或输出张量的内存类型为CPU内存的情况下，在进行内存优化管理之前，对应张量数据通过GPU中预定的数据并行处理函数由CPU内存中拷贝至GPU内存中； 在存在将非连续的数据在CPU与GPU之间、或者GPU与GPU之间进行拷贝的需求的情况下，利用GPU中预定的数据并行处理函数进行非连续的数据的拷贝，所述非连续的数据为在内存单元中非连续存储的数据； 所述基于所述中间表达中各算子对应的执行设备，针对不同的执行设备进行内存优化管理，包括： 基于所述中间表达中各算子对应的执行设备，进行相应执行设备下的内存预申请，在所述执行设备为GPU的情况下采用gpu.alloc方式为算子申请GPU内存，在所述执行设备为CPU的情况下采用memerf.alloc方式为算子申请CPU内存； 针对所述中间表达中预定的第二算子，基于所述第二算子满足对应的约束条件，将所述第二算子的输入张量和或输出张量拷贝至预定执行设备中，所述约束条件包括所述第二算子的输入张量和或输出张量的内存类型为所述预定执行设备上的内存； 针对中间表达中算子间各输入张量和输出张量之间读写依赖关系，使存在所述读写依赖关系的输入张量和或输出张量复用执行设备上的同一块内存；其中，在一个算子的输出张量为另一个算子的输入张量时，认为所述一个算子的输出张量和所述另一个算子的输入张量之间存在所述读写依赖关系，对所述一个算子的输出张量和所述另一个算子的输入张量已申请的内存进行改写以复用同一块内存； 基于内存优化管理的结果，生成执行设备上的目标可执行文件，所述目标可执行文件用于所述执行设备进行基于所述神经网络模型的训练或推理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人摩尔线程智能科技(北京)有限责任公司，其通讯地址为：100080 北京市海淀区翠微中里14号楼四层B655；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。