星环信息科技(上海)股份有限公司吴贤伟获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉星环信息科技(上海)股份有限公司申请的专利一种模型推理的请求管理方法、装置以及请求管理系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119336471B 。
龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411485019.X，技术领域涉及：G06F9/48；该发明授权一种模型推理的请求管理方法、装置以及请求管理系统是由吴贤伟;张耒;王天青;侯雨希;杨超;刘熙设计研发完成，并于2024-10-23向国家知识产权局提交的专利申请。
本一种模型推理的请求管理方法、装置以及请求管理系统在说明书摘要公布了：本发明公开了一种模型推理的请求管理方法、装置以及请求管理系统。该方法包括：获取模型推理服务的观测指标；根据观测指标进行指标预测，得到预测指标，预测指标包括中央处理器的目标内存利用率和图形处理器的目标显存利用率；根据预测指标确定调度策略，根据调度策略结合请求队列确定调度建议，并将调度建议加入至建议缓冲队列中；在模型推理服务执行请求调度时，从建议缓冲队列中读取调度建议，并根据调度建议结合模型推理服务的调度决策确定目标调度决策，根据目标调度决策控制模型推理服务调度相应的请求执行模型推理，解决了模型推理过程中请求调度不合理的问题，实现资源的高效利用和合理分配。
本发明授权一种模型推理的请求管理方法、装置以及请求管理系统在权利要求书中公布了：1.一种模型推理的请求管理方法，其特征在于，应用于请求管理系统中的请求处理引擎，所述请求管理系统还包括模型推理服务，所述方法包括：获取所述模型推理服务的观测指标；根据所述观测指标进行指标预测，得到预测指标，所述预测指标包括中央处理器的目标内存利用率和图形处理器的目标显存利用率；所述预测指标为通过预测得到的模型推理服务的指标信息，是相对于观测指标的采集时间向后一段时间的指标信息；根据所述预测指标确定调度策略，根据所述调度策略结合请求队列确定调度建议，并将所述调度建议加入至建议缓冲队列中；在模型推理服务执行请求调度时，从所述建议缓冲队列中读取调度建议，并根据所述调度建议结合模型推理服务的调度决策确定目标调度决策，根据所述目标调度决策控制所述模型推理服务调度相应的请求执行模型推理。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人星环信息科技(上海)股份有限公司，其通讯地址为：200233 上海市徐汇区虹漕路88号3楼、B栋11楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号