买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利大语言模型服务中请求重调度的方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119718594B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510230430.0，技术领域涉及：G06F9/48；该发明授权大语言模型服务中请求重调度的方法、装置、设备及介质是由王萌设计研发完成，并于2025-02-28向国家知识产权局提交的专利申请。

本大语言模型服务中请求重调度的方法、装置、设备及介质在说明书摘要公布了：本发明涉及大语言模型技术领域，特别涉及一种大语言模型服务中请求重调度的方法、装置、设备及介质。方法包括：根据每个实例中大语言模型服务请求的排队情况和键值缓存计算每个实例的调度量，并确定至少一个待调度的源实例和每个待调度的源实例对应的目标实例；在接收到迁移指令时，基于大语言模型服务请求的类型和预设的迁移策略，将每个待调度的源实例中的令牌和或键值缓存迁移至每个待调度的源实例对应的目标实例，并将大语言模型服务请求的响应结果反馈至用户。由此，通过在动态环境中实现高效的请求分配，解决了传统调度策略在面对大语言模型请求的不可确定性和动态性时无法有效调度的问题，从而提升了系统的资源利用率和响应性能。

本发明授权大语言模型服务中请求重调度的方法、装置、设备及介质在权利要求书中公布了：1.一种大语言模型服务中请求重调度的方法，其特征在于，包括以下步骤： 获取每个实例中大语言模型服务请求的排队情况和键值缓存，并根据所述每个实例中大语言模型服务请求的排队情况和键值缓存计算所述每个实例的调度量； 根据所述每个实例的调度量确定至少一个待调度的源实例和每个待调度的源实例对应的目标实例； 在接收到迁移指令时，基于所述大语言模型服务请求的类型和预设的迁移策略，将每个待调度的源实例中的令牌和或键值缓存迁移至所述每个待调度的源实例对应的目标实例，并将所述大语言模型服务请求的响应结果反馈至用户； 其中，所述根据所述每个实例中大语言模型服务请求的排队情况和键值缓存计算所述每个实例的调度量，包括：获取正在运行的请求所占用的键值缓存、正在排队的请求预期占用的虚拟键值缓存、当前实例的显存总容量、当前大语言模型推理模型固有的参数量所占据的显存容量和所述当前大语言模型推理模型的批量大小；根据所述正在运行的请求所占用的键值缓存、所述正在排队的请求预期占用的虚拟键值缓存、所述当前实例的显存总容量、所述当前大语言模型推理模型固有的参数量所占据的显存容量和所述当前大语言模型推理模型的批量大小计算所述每个实例的调度量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。