买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京信息工程大学;中科南京信息高铁研究院申请的专利一种用于多模态模型的高效混合并行训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120163267B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510647012.1，技术领域涉及：G06N20/00；该发明授权一种用于多模态模型的高效混合并行训练方法是由郭志鹏;柯福阳;刘晓东;李传坤;方铭;张昕怡设计研发完成，并于2025-05-20向国家知识产权局提交的专利申请。

本一种用于多模态模型的高效混合并行训练方法在说明书摘要公布了：本发明公开了一种用于多模态模型的高效混合并行训练方法，属于计算机技术领域。该方法首先根据多模态模型架构，将其划分为多个独立的模态子模块，每个子模块处理一种模态数据；然后通过静态分析每个子模块的计算负荷，制定算力分配方案；分析模态子模块每层的计算时间和参数量大小，然后使用分区算法把这些层划分为多个阶段，结合异步流水线并行与数据并行加速训练。本发明通过针对模态计算负荷的算力分配和混合并行策略，显著提高硬件资源利用率，实现对多模态模型训练过程的加速。

本发明授权一种用于多模态模型的高效混合并行训练方法在权利要求书中公布了：1.一种用于多模态模型的高效混合并行训练方法，其特征在于，包括如下步骤： 获取多模态模型及训练所需数据集； 对多模态模型进行架构分析，根据输入数据的模态类型，将该多模态模型划分为多个独立的模态子模块，每个模态子模块专用于处理一种特定模态数据； 通过静态分析每个模态子模块的参数，评估每个模态子模块在处理全局批量大小数据时的计算负荷； 基于计算负荷分析结果，制定算力资源分配方案，确定每个模态子模块所需的设备数量； 根据算力资源分配方案，对每个模态子模块采用分区算法，将该模态子模块划分为多个连续的流水线阶段； 将训练过程划分为预热阶段与加速阶段，利用数据集，分别采用数据并行与异步流水线并行对多模态模型进行训练； 将训练过程划分为预热阶段与加速阶段，利用数据集，分别采用数据并行与异步流水线并行对多模态模型进行训练的步骤包括： 在模型开始训练的前10％的阶段，采用数据并行策略进行训练，使用线性预热学习率，在阶段切换时，学习率达到预设最大值，此阶段记为预热阶段； 剩余训练阶段作为加速阶段，切换至异步流水线并行策略，将多模态模型划分的多个流水线阶段分配到各自的设备上进行异步更新，同时将训练数据集分配到每个模态子模块；在加速阶段，每个流水线阶段在各自的GPU上独立运行并执行异步前向计算和反向传播，同时学习率进入衰减阶段，通过余弦函数使学习率呈现平滑的衰减曲线，最终衰减到接近0，并引入梯度累计，每个流水线阶段的计算结果暂存于本地缓冲区，当GPU上流水线累积到预设数量微批次的梯度后，再统一进行梯度更新。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京信息工程大学;中科南京信息高铁研究院，其通讯地址为：210044 江苏省南京市江北新区宁六路219号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。