买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学技术大学申请的专利混合专家模型的异步并行推理方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120996207B 。

龙图腾网通过国家知识产权局官网在2026-02-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511509524.8，技术领域涉及：G06N5/04；该发明授权混合专家模型的异步并行推理方法、系统、设备及介质是由李诚;阮家齐;贺嘉;白有辉设计研发完成，并于2025-10-22向国家知识产权局提交的专利申请。

本混合专家模型的异步并行推理方法、系统、设备及介质在说明书摘要公布了：本发明公开了一种混合专家模型的异步并行推理方法、系统、设备及介质，它们是相对应的方案，方案中：将专家并行中因全对全集合通信造成的GPU间计算和通信的同步进行解耦，允许模型计算与词元数据通信异步并行，以充分地对专家并行造成的数据通信开销进行掩盖，并消除同步等待开销；针对推理中专家冷热不均的现象，优先将热专家放置在GPU，将冷专家侧载在CPU，以释放出GPU显存空间，推理时可通过增大批尺寸提升GPU计算效率；通过动态选择最适合执行的计算单元与需要加载的冷专家，实现高效资源调度；总体而言，通过本发明可显著降低专家并行推理时通信开销和等待开销，同时提升GPU的计算效率，优化推理过程中的整体吞吐表现。

本发明授权混合专家模型的异步并行推理方法、系统、设备及介质在权利要求书中公布了：1.一种混合专家模型的异步并行推理系统，其特征在于，包括： 异步计算通信叠加模块，用于将专家并行中的全对全同步通信转换为点对点的异步通信，并结合多线程机制实现混合专家模型计算与词元数据通信的并行叠加；其中，混合专家模型计算由调度执行模块输出的调度指令进行调度控制； 数据侧载模块，用于在离线阶段，预先运行一部分待处理的数据，分析混合专家模型每层中的冷热专家分布，以及分析侧载到CPU内存上的最大冷专家侧载比例；在线阶段，混合专家模型每层中，均结合对应冷热专家分布与最大冷专家侧载比例，将冷专家侧载至CPU内存，剩余专家则保留于GPU显存中；对于被侧载至CPU内存的冷专家，在调度指令的控制下，以层为粒度加载回GPU显存中进行专家计算；其中，GPU为图形处理器，CPU为中央处理器，冷热专家分布通过专家接收词元的概率来衡量，概率越高的专家接收到词元的可能性越高，称为热专家，概率越低的专家接收到词元的可能性越低，称为冷专家；所述专家计算属于混合专家模型计算的一部分； 调度执行模块，用于记录GPU上不同模型层中的词元积累情况，并生成用于控制混合专家模型计算的调度指令；以及记录冷专家侧载情况，并生成用于控制冷专家加载的调度指令。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。