买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东师范大学申请的专利一种基于孪生大语言模型交织记忆的参数高效微调方法、系统及应用获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119089940B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410829181.2，技术领域涉及：G06N3/0455；该发明授权一种基于孪生大语言模型交织记忆的参数高效微调方法、系统及应用是由贺国秀;宋鑫;薛郅恺设计研发完成，并于2024-06-25向国家知识产权局提交的专利申请。

本一种基于孪生大语言模型交织记忆的参数高效微调方法、系统及应用在说明书摘要公布了：本发明公开了一种基于孪生大语言模型交织记忆的参数高效微调方法，包括如下步骤：步骤一、预先构建两个共享相同结构和预训练参数的大语言模型；其中一个大语言模型保持原始参数保持冻结，另一个大语言模型使用参数高效微调方法微调；步骤二、利用步骤一中构建获得的两个大语言模型分别处理给定的输入，分别生成不同的记忆；所述记忆是指所述大语言模型生成的最后一层隐藏状态；步骤三、引入孪生大语言模型交织记忆机制，调节冻结原始参数的大语言模型和使用参数高效微调方法微调的大语言模型的记忆对生成下一个词元的贡献。本发明不仅在下游任务上实现了卓越的性能，还有效地缓解了灾难性遗忘问题，并且无需增加额外的微调时间。

本发明授权一种基于孪生大语言模型交织记忆的参数高效微调方法、系统及应用在权利要求书中公布了：1.一种参数高效微调方法在领域专业化、机器翻译、文本总结中的应用，其特征在于，包括如下步骤： 步骤一、预先构建两个共享相同结构和预训练参数的大语言模型；其中一个大语言模型保持原始参数保持冻结，另一个大语言模型使用参数高效微调方法微调； 步骤二、利用步骤一中构建获得的两个大语言模型分别处理给定的文本序列，分别生成不同的记忆；所述记忆是指所述大语言模型生成的最后一层隐藏状态； 步骤三、引入孪生大语言模型交织记忆机制，调节冻结原始参数的大语言模型和使用参数高效微调方法微调的大语言模型的记忆对生成下一个词元的贡献； 步骤三中，所述孪生大语言模型交织记忆机制包括简单记忆交织机制、基于门控的记忆交织机制； 所述简单记忆交织机制直接将冻结大语言模型和微调大语言模型的逻辑值相加，计算生成下一个词元的概率分布； 所述基于门控的记忆交织机制通过将冻结大语言模型和微调大语言模型的最后一层隐藏状态拼接后，使用低秩线性层生成一个门值来动态平衡两个模型对下一步生成的贡献，对模型的性能进行优化。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东师范大学，其通讯地址为：200241 上海市闵行区东川路500号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。