买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京邮电大学申请的专利一种基于差分隐私的隐私保护大模型微调方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120597311B 。

龙图腾网通过国家知识产权局官网在2026-03-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510644112.9，技术领域涉及：G06F21/62；该发明授权一种基于差分隐私的隐私保护大模型微调方法及系统是由程祥;池长康;王玉龙;苏森设计研发完成，并于2025-05-19向国家知识产权局提交的专利申请。

本一种基于差分隐私的隐私保护大模型微调方法及系统在说明书摘要公布了：本发明提供一种基于差分隐私的隐私保护大模型微调方法及系统，包括：获取用户敏感数据以构建微调数据集和验证集；对目标参数矩阵进行低秩分解，将微调数据集输入大模型，计算其在低秩参数矩阵上的梯度并进行稀疏化处理；对稀疏梯度按照梯度裁剪阈值裁剪后加入差分隐私噪声；基于加入噪声的梯度和差分隐私参数，校正Adam优化器估计的方差，并根据校正后的方差计算参数步长，更新目标参数；使用验证集评估模型更新前后的优化情况，动态调整梯度裁剪阈值。本发明能够在保证隐私保护强度的同时，保证微调得到的大模型具备较高的效用。

本发明授权一种基于差分隐私的隐私保护大模型微调方法及系统在权利要求书中公布了：1.一种基于差分隐私的隐私保护大模型微调方法，其特征在于，所述方法包括： 获取用户敏感数据，构建微调数据集和验证集； 对目标参数矩阵进行低秩分解，得到低秩参数矩阵；将所述微调数据集输入预训练的大模型，计算所述微调数据集在所述低秩参数矩阵上的梯度并进行稀疏化；对完成稀疏化的梯度按梯度裁剪阈值裁剪、聚合，并加入差分隐私噪声，得到噪声梯度；其中，所述目标参数矩阵由需要微调的目标参数构成； 基于所述噪声梯度和差分隐私参数，校正Adam优化器的方差估计，包括： 计算所述噪声梯度的均值和方差，计算式为： ； ； 计算修正后的均值和方差的无偏估计，计算式为： ； ； 对方差进行校正，计算式为： ； 其中，表示时间步所述噪声梯度的均值；表示时间步所述噪声梯度的方差；和表示Adam的衰减率；表示所述噪声梯度；表示修正后的均值的无偏估计；表示修正后的方差的无偏估计；表示校正后的方差；表示噪声的标准差；表示裁剪阈值；表示批次大小； 根据校正后的方差计算参数步长，更新所述目标参数；其中，所述参数步长的计算式为： ； 其中，表示参数步长；表示修正后的均值的无偏估计；表示校正后的方差；为稳定性常数； 将所述验证集分别输入目标参数更新前后的大模型，计算更新前后两个大模型的损失的变化量，并基于所述变化量调整所述梯度裁剪阈值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京邮电大学，其通讯地址为：100876 北京市海淀区西土城路10号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。