买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利模型推理过程中的调度方法、装置、介质、程序和电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121050863B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511580988.8，技术领域涉及：G06F9/48；该发明授权模型推理过程中的调度方法、装置、介质、程序和电子设备是由贾兆荣设计研发完成，并于2025-10-31向国家知识产权局提交的专利申请。

本模型推理过程中的调度方法、装置、介质、程序和电子设备在说明书摘要公布了：本申请公开了一种模型推理过程中的调度方法、装置、介质、程序和电子设备，涉及模型推理技术领域，初始请求处理时，对队列进行必要的初始化，确保请求在调度时能被正确管理和跟踪，基于资源限值和优先级的预填充队列构建策略，使得调度器能动态调整批处理大小，避免资源浪费或超负荷运行，基于模型推理结果进行下一轮推理，避免了传统方法中因结果处理不及时导致的计算延迟，提高了调度效率，从而解决了现有技术中模型推理服务面临的调度效率低下的问题。

本发明授权模型推理过程中的调度方法、装置、介质、程序和电子设备在权利要求书中公布了：1.一种模型推理过程中的调度方法，其特征在于，包括： 接收分词器发送的处理后的推理请求，并对各队列进行初始化处理，得到初始化后的队列，所述处理后的推理请求包括至少一个词元； 依据资源限值和所述推理请求的优先级从请求等待队列提取对应的所述词元，以构建预填充队列，所述资源限值包括最大请求数、所述词元的数量上限和低秩适应模型的数量上限，所述请求等待队列为所述初始化后的队列中的一个； 对所述预填充队列以及与所述预填充队列对应的解码任务进行调度，以至少得到模型推理结果； 依据资源限值和所述推理请求的优先级从请求等待队列提取对应的所述词元，以构建预填充队列，包括： 创建预填充请求添加器； 依据所述优先级对所述请求等待队列的推理请求进行排序，得到排序结果； 调用所述预填充请求添加器，依据所述排序结果和所述资源限值，构建所述预填充队列； 在依据资源限值和所述推理请求的优先级从请求等待队列提取对应的所述词元，以构建预填充队列之后，所述方法还包括： 确定候选请求的所述低秩适应模型的路径数量，和或，当前运行批次是否超过所述资源限值； 在候选请求的所述低秩适应模型的路径数量，和或，当前运行批次超过所述资源限值的情况下，确定批次已满，终止推理； 初始化下一轮输入，调用所述预填充请求添加器将所述推理请求添加至所述预填充队列。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区综保区经一路1号8幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。