买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西北工业大学申请的专利基于通用LoRA和领域专用LoRA多任务混合专家模型微调方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119398122B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411646618.5，技术领域涉及：G06N3/08；该发明授权基于通用LoRA和领域专用LoRA多任务混合专家模型微调方法是由慕志颖;高德宏;马宇飞;杨黎斌;蔡晓妍;郭森森;李晓宇设计研发完成，并于2024-11-18向国家知识产权局提交的专利申请。

本基于通用LoRA和领域专用LoRA多任务混合专家模型微调方法在说明书摘要公布了：本发明公开了一种基于通用LoRA和领域专用LoRA多任务混合专家模型微调方法，通过整合通用专家和领域特定专家，并引入残差连接，以平衡模型对一般任务和领域特定任务的处理能力，提高性能和稳定性。本发明实现了参数高效的多任务学习和新领域适配。

本发明授权基于通用LoRA和领域专用LoRA多任务混合专家模型微调方法在权利要求书中公布了：1.一种基于通用LoRA和领域专用LoRA多任务混合专家模型微调方法，其特征在于，包括如下步骤： 步骤1：构建基于通用LoRA和领域专用LoRA多任务混合专家模型BENLoRA，模型架构包括以下组件： a基座语言模型：进行预训练后的大语言模型作为基础模型； b通用LoRA专家：用于捕获跨领域的通用知识和能力； c领域专用LoRA专家：针对特定领域或任务的专门化适配器； d残差连接：连接通用LoRA专家和领域专用LoRA专家，用于保持模型的通用能力； e路由：用于动态分配不同领域专用LoRA专家的权重； 步骤2：采用三阶段训练流程； a第一阶段：仅训练通用LoRA专家，同时领域专用LoRA专家和路由被停用； b第二阶段：单独训练每个领域专用LoRA专家，通用专家参数保持冻结； c第三阶段：所有LoRA专家的参数被冻结，仅训练路由以学习不同任务的最佳组合策略；通过训练路由，大模型能够根据不同任务的需求，动态分配不同专家的权重； 步骤3：引入残差连接； 领域专用LoRA专家的输入不仅包括原始输入，还包括通用LoRA专家的输出，表示为： 其中hm是通用LoRA专家的输出；字母右上角的r代表BENLoRA-Res；W0代表基座大语言模型已经被冻结的权重，是一个矩阵；xm代表输入BENLoRA-Res模块的隐态向量；代表BENLoRA-Res模块中的路由模块分配给各个专家的权重，B代表BENLoRA-Res中的每个LoRA专家中的B矩阵；A代表BENLoRA-Res中R每个LoRA专家中的A矩阵；一个LoRA专家包含两个矩阵A与B，运算时向量先经过A再经过B；BENLoRA中包含多个专家，i是任意一个专家的下标，具有普适性；求和符号表示对这些专家的运算结果进行统一求和不做区分； 步骤4：动态路由； 使用一个可训练的路由动态分配不同LoRA的权重，路由权重的计算如下： 其中是路由模块分配给第i个专家的权重，表示BENLoRA-Res模块中的路由模块的权重矩阵，大写R代表Router，代表路由模块根据输入的隐态向量得到每个LoRA专家权重的过程； 路由模块包含权重矩阵以及softmax函数，隐态向量xm先经过之后经过softmax函数，softmax的输出是一个向量，括号右下角的i代表这个向量中的第i个元素，也就是对每个LoRA专家的权重

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市碑林区友谊西路127号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。