买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种模型分布式训练显存优化方法、系统及可读存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119781994B 。

龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510282611.8，技术领域涉及：G06F9/50；该发明授权一种模型分布式训练显存优化方法、系统及可读存储介质是由解臣林;李石坚;张犁;潘纲设计研发完成，并于2025-03-11向国家知识产权局提交的专利申请。

本一种模型分布式训练显存优化方法、系统及可读存储介质在说明书摘要公布了：本发明公开了一种模型分布式训练显存优化方法、系统及可读存储介质，包括：获取模型第一轮训练过程中每个算子的参数量和访问顺序，对算子进行唯一性编号后生成执行顺序图并存储；对每个算子进行均匀切分，并记录分片映射关系；在训练过程中，根据算子的执行顺序，通过计算设备获取最初运行算子的完整参数；进行当前算子的计算，并根据算子的执行顺序图，通过异步通信预取即将运行的下一个算子的参数；在当前算子执行完毕后，仅保留原始的部分算子参数，并释放其余部分的算子参数；同步算子参数通信，验证分片参数的完整性后执行训练迭代，循环上述过程直至训练完成。利用本发明，可以在降低单个计算设备显存占用的同时，保证模型的高效训练。

本发明授权一种模型分布式训练显存优化方法、系统及可读存储介质在权利要求书中公布了：1.一种模型分布式训练显存优化方法，其特征在于，包括： （1）基于预设网络模型，获取模型第一轮训练过程中每个算子的参数量和访问顺序，对算子进行唯一性编号后生成拓扑化的执行顺序图并存储； （2）基于每个算子的参数量和计算设备的数量，分别对每个算子参数进行均匀切分； 对每个算子参数进行均匀切分后，每个计算设备保留切割后的算子参数的部分值，对于参数的其它部分进行释放，并记录为分片映射关系； （3）在进行下一轮训练时，根据拓扑化执行顺序图中算子的执行顺序，通过计算设备的通信模块获取最初运行算子的完整参数； （4）进行当前算子的计算，并根据算子的执行顺序图，通过异步通信预取即将运行的下一个算子的参数； （5）在当前算子执行完毕后，按照分片映射关系仅保留原始的部分算子参数，并释放其余部分的算子参数； （6）在下一个算子运行时，先同步算子参数通信，验证下一个算子参数的完整性后返回步骤（4），循环上述过程直至网络模型在计算设备上完成训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。