买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学技术大学申请的专利一种稀疏混合专家大语言模型推理任务的卸载方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119440654B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411334431.1，技术领域涉及：G06F9/445；该发明授权一种稀疏混合专家大语言模型推理任务的卸载方法及装置是由张燕咏;陶子扬设计研发完成，并于2024-09-24向国家知识产权局提交的专利申请。

本一种稀疏混合专家大语言模型推理任务的卸载方法及装置在说明书摘要公布了：本公开属于人工智能领域，具体涉及一种稀疏混合专家大语言模型推理任务的卸载方法及装置。其中所述方法包括：预测所述稀疏混合专家大语言模型在推理任务中被选择的专家和对应的活跃神经元；在计算设备加载被选择的所述专家的所述活跃神经元以执行所述推理任务。本公开减少了稀疏混合专家大语言模型在执行推理任务时在消费级GPU上卸载时的推理延迟。

本发明授权一种稀疏混合专家大语言模型推理任务的卸载方法及装置在权利要求书中公布了：1.一种稀疏混合专家大语言模型推理任务的卸载方法，其特征在于，包括： 预测所述稀疏混合专家大语言模型在推理任务中被选择的专家和对应的活跃神经元； 在计算设备加载被选择的所述专家的所述活跃神经元以执行所述推理任务； 其中，所述计算设备包括CPU端和GPU端，所述稀疏混合专家大语言模型包括多层专家层，每层所述专家层包括多个专家，所述方法还包括： 在第i层所述专家层执行所述推理任务时，同步在所述GPU端预取第i+1层所述专家层被选择的所述专家的所述活跃神经元，其中，i为正整数； 所述在所述GPU端预取第i+1层所述专家层被选择的所述专家的所述活跃神经元包括： 同步基于第i层所述专家层的输入预测第i+1层所述专家层被选择的所述专家； 同步预测所述专家的所述活跃神经元； 同步预取所述活跃神经元到所述GPU端； 所述基于第i层所述专家层的输入预测第i+1层所述专家层被选择的所述专家包括： 将所述稀疏混合专家大语言模型第i层注意力层输出的隐藏状态作为第i+1层所述专家层的门控单元的输入，输出第i+1层所述专家层预测的被选择的所述专家，其中，所述稀疏混合专家大语言模型包括层状结构，每层所述层状结构由串联的注意力层和专家层组成，所述注意力层输出的隐藏状态作为所述专家层的输入，所述专家层包括用于激活参与计算的所述专家的门控单元； 所述预测所述专家的所述活跃神经元包括： 基于所述专家的权重预测所述专家的所述活跃神经元； 所述基于所述专家的权重预测所述专家的所述活跃神经元包括： 获取所述专家的权重矩阵， 用激活函数对所述权重矩阵与输入的所述隐藏状态的矩阵乘法计算结果进行激活，将绝对值超过预设阈值的激活结果对应的神经元作为所述活跃神经元。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。