买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中南大学;中国铁路财务有限责任公司;中国铁路信息科技集团有限公司;中国国家铁路集团有限公司申请的专利一种基于自适应差分隐私控制的大模型训练方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120952054B 。

龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511472445.4，技术领域涉及：G06N3/045；该发明授权一种基于自适应差分隐私控制的大模型训练方法及装置是由龙军;江昕耘;马兴寒;史雨婷;田恩菊;周学芹;齐倩倩设计研发完成，并于2025-10-15向国家知识产权局提交的专利申请。

本一种基于自适应差分隐私控制的大模型训练方法及装置在说明书摘要公布了：本发明公开了一种基于自适应差分隐私控制的大模型训练方法及装置，用于训练基于大语言模型的任务模型，在每个训练轮次内，方法包括：基于参数相关性评估方法，将训练样本数据输入任务模型中进行计算，生成可训练参数相关性图；利用高阶隐私预算估算与控制方法对训练过程中的隐私损耗进行高阶展开与近似估算，控制当前训练轮次下的噪声基准强度，并动态调整以保证整体训练过程满足差分隐私约束；根据可训练参数相关性图构建二值掩码，划分出高低相关性参数子集，结合当前噪声基准强度对高低相关性参数对应的梯度进行差异化剪裁与加噪处理，完成差分隐私保障下的任务模型参数更新。本发明可显著减少噪声引入、提升模型性能。

本发明授权一种基于自适应差分隐私控制的大模型训练方法及装置在权利要求书中公布了：1.一种基于自适应差分隐私控制的大模型训练方法，其特征在于，用于训练基于大语言模型的任务模型，在每个训练轮次内，所述方法包括： 基于参数相关性评估方法，将训练样本数据输入基于大语言模型的任务模型中进行正向传播和反向归因计算，生成可训练参数相关性图，以衡量各可训练参数在模型输出中的相关性分布； 利用高阶隐私预算估算与控制方法对训练过程中的隐私损耗进行高阶展开与近似估算，控制当前训练轮次下的噪声基准强度，并动态调整以保证整体训练过程满足差分隐私约束； 根据可训练参数相关性图构建二值掩码，划分出高低相关性参数子集，结合当前噪声基准强度对高低相关性参数对应的梯度进行差异化剪裁与差异化加噪处理，完成差分隐私保障下的任务模型参数更新； 所述根据可训练参数相关性图构建二值掩码，划分出高低相关性参数子集，具体包括： 设微调数据集为DFT={x1,x2,...,xm,...,xM}，其中xm表示第m个样本；样本xm对应的可训练参数相关性图记作，其中d为所有可训练参数的维度总数； 计算所有样本的平均可训练参数相关性图； 对平均可训练参数相关性图进行归一化处理，得到归一化可训练参数相关性图； 设定相关性划分比例∈0,1，表示希望标记为低相关性的参数比例，从中提取出第小的值，作为划分阈值Rthr； 据此生成相关性掩码向量MR∈{0,1}d，用于对参数维度的相关性进行标记： ； 式中，表示相关性掩码向量MR中第p个值；表示归一化可训练参数相关性图中的第p个值； 根据相关性掩码向量MR将可训练参数划分为高低相关性两个参数子集； 所述差异化剪裁过程包括： 对高低相关性两个参数子集对应的两个梯度子集，分别进行差异化L2范数裁剪，设全局梯度裁剪阈值为C0，计算比例系数： ； 式中，表示高相关性参数子集对应的高相关性梯度子集的敏感度；表示低相关性参数子集对应的低相关性梯度子集的敏感度；表示任务模型在当前训练批次下，根据损失函数对可训练参数求导所得的原始梯度； 分别对高低相关性两个参数子集对应的两个梯度子集进行裁剪： ； 式中，表示裁剪后的高相关性梯度子集，表示裁剪后的低相关性梯度子集； 所述差异化加噪过程包括： 根据裁剪结果动态计算高相关性梯度子集和低相关性梯度子集的标准差： ； 式中，σ表示当前噪声标准差，和分别表示高相关性梯度子集和低相关性梯度子集的标准差； 在此基础上，对裁剪后的高相关性梯度子集和低相关性梯度子集分别加噪： ； 式中，和分别表示加噪后的高相关性梯度子集和低相关性梯度子集；N0,I表示以0为均值、为协方差的多维高斯分布，取或；I为单位矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中南大学;中国铁路财务有限责任公司;中国铁路信息科技集团有限公司;中国国家铁路集团有限公司，其通讯地址为：410083 湖南省长沙市岳麓区麓山南路932号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。