浙江大学高云君获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种基于表征空间偏移的大语言模型机器遗忘算法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121352046B 。
龙图腾网通过国家知识产权局官网在2026-04-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511936666.2,技术领域涉及:G06N5/04;该发明授权一种基于表征空间偏移的大语言模型机器遗忘算法是由高云君;张治坤;方策;陈敏;柳晴;刘哲设计研发完成,并于2025-12-22向国家知识产权局提交的专利申请。
本一种基于表征空间偏移的大语言模型机器遗忘算法在说明书摘要公布了:本发明公开了一种基于表征空间偏移的大语言模型机器遗忘算法,包括:构建遗忘集和保留集,使用知识探查数据集对大模型执行因果追踪,识别对模型正确预测具有显著贡献的前馈神经网络以确定为遗忘层;使用保留集近似估计输入特征空间,基于该特征空间构造零空间投影矩阵;输入遗忘集和保留集,获取训练模型和原始模型在最后一个遗忘层的表征输出,并通过损失函数导出参数更新梯度;将更新梯度经零空间投影变换后更新所有遗忘层中前馈神经网络的最后一个线性变换矩阵。本发明利用大模型中前馈神经网络的知识存储特性,通过在表征空间中引导知识去除,实现精准遗忘的同时有效抑制对非目标知识的干扰,显著提升大模型机器遗忘过程的有效性与可控性。
本发明授权一种基于表征空间偏移的大语言模型机器遗忘算法在权利要求书中公布了:1.一种基于表征空间偏移的大语言模型机器遗忘方法,其特征在于,包括如下步骤: 1对训练语料库进行数据采样,构建包含待去除知识的遗忘集、用于维持模型通用能力的保留集以及用于机器遗忘的训练数据集; 2利用由客观事实构成的知识探查数据集,对目标大语言模型执行因果追踪实验,识别出显著影响模型预测的关键前馈神经网络模块,并将包含这些模块的模型层确定为遗忘层; 3基于保留集作为输入,估计遗忘层前馈神经网络模块最后一个线性变换矩阵的近似输入特征空间,并依此构造零空间投影矩阵; 4输入来自遗忘集和保留集的数据样本,分别获取遗忘模型和参考模型在最后一个遗忘层的表征输出,用于计算以表征偏离为目标的知识去除损失函数,并引入表征正则化损失函数以约束更新幅度,联合优化以导出对应的参数更新梯度;所述遗忘模型为目标大语言模型,所述参考模型为原始模型,其与遗忘模型具有相同架构及初始参数; 5将参数更新梯度经零空间投影变换后,用于更新所有遗忘层中前馈神经网络模块的最后一个线性变换矩阵,从而获得目标大语言模型最终的遗忘模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励