河北大学梁晓艳获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉河北大学申请的专利对预训练大语言模型的微调和推理阶段的DPO-Tune方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119204156B 。
龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411209083.5,技术领域涉及:G06N3/094;该发明授权对预训练大语言模型的微调和推理阶段的DPO-Tune方法是由梁晓艳;张思懿;杜瑞忠;耿戬设计研发完成,并于2024-08-30向国家知识产权局提交的专利申请。
本对预训练大语言模型的微调和推理阶段的DPO-Tune方法在说明书摘要公布了:本发明涉及一种对预训练大语言模型的微调和推理阶段的DPO‑Tune方法,包括以下步骤:S1.在cGAN中加入Rényi散度优化器,并进行训练,形成R‑cGAN;S2.在随机响应机制中加入动态扰动因子函数和R‑cGAN,生成双重随机响应机制;S3.将待扰动数据集中的序列信息使用DP‑Forward进行处理,并在数据前向传递过程中,根据解析矩阵高斯机制对待扰动数据集中的序列信息添加扰动;利用双重随机响应机制,对待扰动数据集中的特征标签数据对进行扰动。本发明可以在保证大语言模型准确率的前提下有效提高序列和标签信息的隐私性,进而增加模型的可用性,实现模型的准确性和隐私性之间的平衡。
本发明授权对预训练大语言模型的微调和推理阶段的DPO-Tune方法在权利要求书中公布了:1.一种对预训练大语言模型的微调和推理阶段的DPO-Tune方法,其特征是,包括以下步骤: S1.在cGAN中加入Rényi散度优化器,并进行训练,形成R-cGAN; S2.在随机响应机制中加入动态扰动因子函数和R-cGAN,生成双重随机响应机制; S3.将待扰动数据集中的序列信息使用DP-Forward进行处理,并在数据前向传递过程中,根据解析矩阵高斯机制对待扰动数据集中的序列信息添加扰动;利用双重随机响应机制,对待扰动数据集中的特征标签数据对进行扰动; 步骤S1中形成R-cGAN的具体方式为: S1-1.在cGAN中加入变分公式的Rényi散度优化器,预先设置变分公式的Rényi散度优化器的参数; S1-2.在训练集中选择原始特征标签数据对,对原始特征标签数据对中的原始标签进行随机响应,生成扰动标签,将扰动标签输入至cGAN中,得到合成特征; S1-3.根据变分公式的Rényi散度优化器,计算合成特征和原始特征标签数据对中的原始特征的差异; S1-4.若差异大于预设值,则改变变分公式的Rényi散度优化器的参数,重复步骤S1-2和步骤S1-3中对原始特征标签数据对中的原始标签进行随机响应,生成扰动标签;将扰动标签输入至cGAN中,得到合成特征,计算合成特征和原始特征标签数据对中的原始特征的差异,直至差异达到预设值,将差异达到预设值时对应的参数作为变分公式的Rényi散度优化器的参数,得到R-cGAN; 动态扰动因子函数的计算公式为: λx=λ0+α·Sx 其中,λx为动态扰动因子函数,λ0为基础的扰动因子,α为敏感度的调整系数,Sx敏感函数,Sx的计算公式为: , 其中,为个人身份信息,为普通信息。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人河北大学,其通讯地址为:071002 河北省保定市五四东路180号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。
请提出您的宝贵建议,有机会获取IP积分或其他奖励