买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京大学申请的专利一种混合专家模型推理方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118863055B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410826116.4，技术领域涉及：G06N5/04；该发明授权一种混合专家模型推理方法是由李萌;仲书璋;王润声;黄如设计研发完成，并于2024-06-25向国家知识产权局提交的专利申请。

本一种混合专家模型推理方法在说明书摘要公布了：本发明公开一种混合专家模型推理方法，属于深度学习machinelearning领域。本发明通过自适应和基于敏感度的专家门控机制，动态调整不同输入和每一层所需激活的专家数量，具有基于敏感度分析的自适应专家选取、自适应专家预取与自适应专家缓存三个核心机制，可以优化混合专家模型推理性能。本发明在保持精度不下降的前提下，平均减少了25％的专家激活数量，显著提高了MoE推理的效率，特别适用于边缘设备等内存受限的环境，具有重要的应用价值和广泛的应用前景。

本发明授权一种混合专家模型推理方法在权利要求书中公布了：1.一种混合专家模型推理方法，其特征在于，包括以下步骤: 步骤1：给定一个自回归的混合专家模型M，其包含L层，每一层拥有N个专家E0,E1,…EN‑1，将输入数据表示为X，其形状张量为批大小，序列长度，隐藏层维度，在前向传播过程中，对于第i层，计算该层MoE模块的输出Oi；在反向传播过程中，对于第i层，计算该层MoE模块输出Oi相对于损失L的梯度gi，其中i属于范围为[1,L]的整数； 步骤2：对于任意的第i层，使用梯度gi计算该层MoE模块输出的Fisher信息矩阵Fi，公式为： 步骤3：对于任意的第i层，计算该层Fisher信息矩阵Fi对角线元素和，记作∑diagFi； 步骤4：设置扰动阈值为Threshold，对于任意的第i层，如果当MoE层Top‑1得分α满足： 1‑α2×∑diagFi≤Threshold则在该层仅调用Top‑1的专家，否则调用Top‑2的专家； 步骤5：使用校准数据集D，基于步骤1‑4统计在扰动阈值Threshold下，每层仅调用Top‑1专家的比例γi； 步骤6：使用校准数据集D，统计混合专家模型M每一层专家预取正确率βi； 步骤7：将显存中最多存放的专家数量上限记作T，量化当每层有ti个专家被缓存在显存中时，平均需要动态加载的专家数量期望fi,t； 步骤8：将最小化按需加载开销问题进行形式化表述，目标为： 约束条件为： 步骤9：使用动态规划算法对步骤8的问题进行求解，确定专家缓存分配方案；具体为，将F[i][j]定义为当考虑前i层和总共j个专家缓存大小的情况下，最小的专家按需加载开销，目标为最小化F[L][T]，对于初始化F[0][j]＝0，则动态规划的状态转移公式可以表述为： F[i][j]＝mink≤jF[i‑1][j‑k]+fi,k记录在转移公式中，每一个i,j对应的k，从最后一层L和总缓存大小T开始，回溯每一层对应的i,j,k以确定缓存分配，对于j∈[1,L‑i]，从j＝1开始，使用第i+j层的门控函数预测第i+j层的专家调用，如果预测的专家都在显存中，则j＝j+1，预测其后一层的专家调用，直到存在预测将被调用的专家不在显存中； 步骤10：进行在线推理流程，对于第i层的MoE模块，采用步骤1‑4，获得当前层需要调用的专家，如果该专家不在显存中，将该专家插入访存队列队首；如果该专家在显存中，将该专家插入计算队列。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京大学，其通讯地址为：100871 北京市海淀区颐和园路5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。