买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉之江实验室申请的专利大模型推理加速的方法、装置及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120952186B 。

龙图腾网通过国家知识产权局官网在2026-02-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511478239.4，技术领域涉及：G06F40/30；该发明授权大模型推理加速的方法、装置及设备是由陈昕;高翔;张宏设计研发完成，并于2025-10-16向国家知识产权局提交的专利申请。

本大模型推理加速的方法、装置及设备在说明书摘要公布了：本说明书提供了大模型推理加速的方法、装置及设备，计算服务设备配置有多个计算节点，并存储有前缀索引结构，用于指示token序列前缀与存有其缓存计算结果的计算节点之间的映射关系；该方法包括执行全局调度机制，基于推理请求的token序列查询所述前缀索引结构进行前缀匹配，以确定一个或多个候选计算节点，以及根据所述实时负载状态从所述候选计算节点中选择一目标计算节点；执行本地调度机制，根据所述推理请求在所述目标计算节点上的前缀匹配程度，为所述推理请求分配一执行优先级进行调度处理；加载与匹配前缀对应的缓存计算结果，并仅对所述推理请求的非前缀部分、调用大模型以执行推理计算。

本发明授权大模型推理加速的方法、装置及设备在权利要求书中公布了：1.一种大模型推理加速方法，应用于执行大模型推理任务的计算服务设备，所述计算服务设备配置有多个计算节点，并设置有包括全局调度机制和本地调度机制的分层调度机制；所述计算服务设备存储有前缀索引结构，用于指示token序列前缀与存有其缓存计算结果的计算节点之间的映射关系；所述方法包括如下步骤： 接收推理请求的token序列； 执行所述全局调度机制， 遍历所述前缀索引结构，计算所述token序列与所述前缀索引结构中存储的任一前缀的匹配token长度；当所述token序列与目标前缀索引的匹配token长度占所述token序列的比例高于预设阈值时，确定所述目标前缀对应的一个或多个计算节点为一个或多个候选计算节点；当所述匹配token长度占所述token序列的比例低于预设阈值时，触发语义匹配流程；遍历计算所述推理请求的语义向量与所述前缀索引结构中存储的任一前缀的语义向量的相似度，若目标前缀索引的语义向量与所述推理请求的语义向量的相似度高于预设相似度阈值，则确定所述目标前缀索引指示的一个或多个计算节点为一个或多个候选计算节点； 以及获取所述一个或多个候选计算节点的实时负载状态，进而根据所述实时负载状态从所述候选计算节点中选择一目标计算节点； 执行所述本地调度机制，根据所述推理请求在所述目标计算节点上的前缀匹配程度，为所述推理请求分配一执行优先级，并根据所述执行优先级对该节点内的待处理请求进行调度； 调用所述目标计算节点，以使其根据所述本地调度机制的调度指令，加载与匹配前缀对应的缓存计算结果，并对所述推理请求的非前缀部分、调用大模型以执行推理计算。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室，其通讯地址为：311121 浙江省杭州市余杭区中泰街道科创大道之江实验室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。