买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京大学申请的专利一种绿色泛在的分布式推理服务方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121168655B 。

龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511337750.2，技术领域涉及：G06N5/04；该发明授权一种绿色泛在的分布式推理服务方法、装置、设备及介质是由金鑫;刘譞哲;向昱行;李雪;钱坤;翟恩南设计研发完成，并于2025-09-18向国家知识产权局提交的专利申请。

本一种绿色泛在的分布式推理服务方法、装置、设备及介质在说明书摘要公布了：本申请实施例涉及数据处理技术领域，具体涉及一种绿色泛在的分布式推理服务方法、装置、设备及介质，旨在提供绿色泛在的分布式大模型推理服务。所述方法包括：将接收到的推理请求分组加入任务队列中；通过预填充实例按顺序执行预填充任务；将推理请求对应的模型的解码任务加入工作列表中，同一组推理请求对应的解码任务放在同一批次中，每个批次的解码任务有对应的预设执行时间；通过解码实例循环执行工作列表中的解码任务；将任务执行过程中产生的键值缓存放入键值缓存块池中；在执行预填充任务及解码任务的情况下，切换对应的模型，加载对应的键值缓存；在解码任务均执行完毕的情况下，得到多组所述推理请求对应的多个推理结果。

本发明授权一种绿色泛在的分布式推理服务方法、装置、设备及介质在权利要求书中公布了：1.一种绿色泛在的分布式推理服务方法，其特征在于，所述方法包括： 对接收到的多个推理请求根据对应的模型和预填充实例的负载进行分组调度，得到多组所述推理请求对应的多个任务队列，每个所述任务队列对应一个预填充实例； 通过所述预填充实例按顺序执行所述任务队列中的每组所述推理请求对应的模型的预填充任务； 将多组所述推理请求对应的模型的解码任务根据解码实例的负载加入多个工作列表中，每个所述工作列表对应一个解码实例，所述工作列表中将同一组所述推理请求对应的所述解码任务放在同一批次中，每个批次的所述解码任务具有对应的预设执行时间； 通过所述解码实例按照每组所述解码任务对应的执行时间循环执行所述工作列表中的所述解码任务； 将每组所述推理请求对应的所述预填充任务以及所述解码任务产生的键值缓存存储至所述推理请求对应的模型的键值缓存块池中； 在执行每组所述推理请求对应的预填充任务以及解码任务的情况下，切换对应的模型，以及，在执行所述解码任务的情况下，从所述键值缓存块池中获取所述模型对应的键值缓存； 在每组所述推理请求对应的预填充任务和每一步解码任务执行完毕的情况下，得到所述推理请求对应的单步推理结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京大学，其通讯地址为：100871 北京市海淀区颐和园路5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。