买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华中科技大学申请的专利一种面向深度神经网络的内存管理方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116107754B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310161062.X，技术领域涉及：G06F9/50；该发明授权一种面向深度神经网络的内存管理方法及系统是由华宇;龙子吟;向翔宇设计研发完成，并于2023-02-24向国家知识产权局提交的专利申请。

本一种面向深度神经网络的内存管理方法及系统在说明书摘要公布了：本发明公开了一种面向深度神经网络的内存管理方法及系统，属于数据存储技术领域，根据深度神经网络的计算图、一次迭代所处理的样本量以及硬件参数对重计算和内存交换两种方法所消耗的内存和计算资源进行预估比较，对不同的张量选择开销更低的方法。本发明基于张量粒度进行内存管理，允许不同的决策在张量访问时触发，在显存容量有限的情况下，减少了训练深度神经网络的显存占用，增加了一次迭代所处理的样本量，提高了内存的利用率，大大减少了深度神经网络的整体训练时间。此外，在训练过程中，本发明还将存储状态为内存交换状态和写入显存状态的张量分别放置在不同的存储块中，以避免由于内存交换带来的内存碎片问题。

本发明授权一种面向深度神经网络的内存管理方法及系统在权利要求书中公布了：1.一种面向深度神经网络的内存管理方法，其特征在于，包括：若训练深度神经网络所需的显存容量大于所提供的显存容量，则： 在训练前执行以下操作： A1、将深度神经网络的每个张量的存储状态均设置为写入显存状态，并记深度神经网络所有张量所构成的集合为张量集； A2、基于张量集中各张量的数据依赖关系，计算得到张量集中每一个张量的重计算时间；获取张量集中逐出时间最大的张量、以及大小与其重计算时间的比值最大的张量，若前者的生成开销小于后者的生成开销，则将前者的存储状态置为内存交换状态，并将其从张量集中移出；否则，将后者的存储状态置为重计算状态，并将其从张量集中移出； A3、更新张量集中各张量的数据依赖关系，重复步骤A2-A3进行迭代，直至训练深度神经网络所需的显存容量小于或等于所提供的显存容量； 在训练过程中：对于存储状态为写入显存状态的张量，在前向传播过程中将其存储在显存中；对于存储状态为内存交换状态的张量，在前向传播过程中将其转移到主存中，并在反向传播访问该张量前将其从主存中预取到显存中；对于存储状态为重计算状态的张量，在前向传播过程中不存储该张量，而在反向传播访问该张量前，在显存中根据数据依赖关系重新计算该张量； 其中，张量的逐出时间为在所提供的显存容量大于训练深度神经网络所需的显存容量的条件下对深度神经网络进行训练时，张量前向传播被访问到反向传播被访问的时间间隔与张量的传输时间之差；前者的生成开销为张量大小与PCIe带宽的比值；后者的生成开销为张量的重计算时间。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华中科技大学，其通讯地址为：430074 湖北省武汉市洪山区珞喻路1037号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。