买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利模型推理调度方法及系统、电子设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120909737B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511415359.X，技术领域涉及：G06F9/48；该发明授权模型推理调度方法及系统、电子设备和存储介质是由黄春雷;赵雅倩;张亚强;史宏志;高飞;许光远设计研发完成，并于2025-09-29向国家知识产权局提交的专利申请。

本模型推理调度方法及系统、电子设备和存储介质在说明书摘要公布了：本公开提供了一种模型推理调度方法及系统、电子设备和存储介质，该系统包括多个预填充服务器节点和多个解码服务器节点，方法包括：响应于接收到用户请求信息，结合基于深度强化学习的预填充调度模型，获取从多个预填充服务器节点中选择的目标预填充服务器节点和第一优先级；向目标预填充服务器节点中的与第一优先级对应的请求队列发送预填充请求，令目标预填充服务器节点处理预填充请求；预填充请求处理完成，结合基于深度强化学习的解码调度模型，获取从多个解码服务器节点中选择的目标解码服务器节点和第二优先级；向目标解码服务器节点中的与第二优先级对应的请求队列发送解码请求，令目标解码服务器节点处理解码请求；提升推理效率。

本发明授权模型推理调度方法及系统、电子设备和存储介质在权利要求书中公布了：1.一种模型推理调度方法，其特征在于，应用于模型推理调度系统，所述模型推理调度系统包括多个预填充服务器节点和多个解码服务器节点，所述预填充服务器节点和所述解码服务器节点均在所述模型推理调度系统启动时配置多级反馈队列，所述多级反馈队列所包括的多个请求队列的优先级不同，所述预填充服务器节点存储有历史键值缓存，所述方法包括： 响应于接收到用户请求信息，基于所述用户请求信息和所述多个预填充服务器节点的负载信息，结合基于深度强化学习的预填充调度模型，获取从所述多个预填充服务器节点中选择的目标预填充服务器节点和第一优先级； 向所述目标预填充服务器节点中的与所述第一优先级对应的请求队列发送预填充请求，令所述目标预填充服务器节点处理所述预填充请求； 响应于所述预填充请求处理完成，基于所述用户请求信息和所述多个解码服务器节点的负载信息，结合基于深度强化学习的解码调度模型，获取从所述多个解码服务器节点中选择的目标解码服务器节点和第二优先级； 向所述目标解码服务器节点中的与所述第二优先级对应的请求队列发送解码请求，令所述目标解码服务器节点处理所述解码请求，得到模型推理结果，其中，所述解码请求包括所述目标预填充服务器节点产生的键值缓存； 所述基于所述用户请求信息和所述多个预填充服务器节点的负载信息，结合基于深度强化学习的预填充调度模型，获取从所述多个预填充服务器节点中选择的目标预填充服务器节点和第一优先级；包括： 基于所述用户请求信息，对所述历史键值缓存进行检索，得到所述用户请求信息与各所述预填充服务器节点之间的共享前缀匹配信息； 基于所述用户请求信息和所述用户请求信息与各所述预填充服务器节点之间的共享前缀匹配信息，结合执行时间预测模型，得到各所述预填充服务器节点处理所述用户请求信息的执行估计时间； 基于所述用户请求信息、所述多个预填充服务器节点的负载信息和所述各所述预填充服务器节点处理所述用户请求信息的执行估计时间，结合所述基于深度强化学习的预填充调度模型，获取从所述多个预填充服务器节点中选择的目标预填充服务器节点和第一优先级。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215103 江苏省苏州市吴中经济开发区综保区经一路1号8幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。