买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利用于用户请求的大模型推理方法及服务器获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119721261B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510222616.1，技术领域涉及：G06N5/04；该发明授权用于用户请求的大模型推理方法及服务器是由刘邦国设计研发完成，并于2025-02-27向国家知识产权局提交的专利申请。

本用于用户请求的大模型推理方法及服务器在说明书摘要公布了：本申请公开了一种用于用户请求的大模型推理方法及服务器，涉及大模型应用技术领域，包括：将获取到的请求文本和目标语句输入预设语言模型中进行推理处理，以执行如下步骤：若判定请求文本能在主机内存中匹配到历史前缀键‑值缓存，则将历史前缀键‑值缓存确定为初步预填充推理结果；根据请求文本、初步预填充推理结果和目标语句进行预填充推理处理，以得到预填充推理结果；根据预填充推理结果进行递归推理处理，以得到递归推理结果；将递归推理结果输出至用户端，通过主机内存储存历史前缀键‑值缓存，无需重复推理对应的历史前缀键‑值缓存，使得提高了请求文本的推理效率，并提高了用户体验。

本发明授权用于用户请求的大模型推理方法及服务器在权利要求书中公布了：1.一种用于用户请求的大模型推理方法，其特征在于，包括： 接收用户端发送的请求文本； 将所述请求文本进行向量转化处理，以得到对应的请求向量； 根据所述请求向量，从预创建的知识库中确定对应的目标语句； 将所述请求文本和所述目标语句输入预设语言模型中进行推理处理，以执行如下步骤： 判断所述请求文本能否在主机内存中匹配到预存储的历史前缀键-值缓存，其中所述历史前缀键-值缓存是根据历史请求文本进行预填充推理得到的；所述主机内存中存储的是标注后的历史前缀键-值缓存生成的树状结构数据； 若所述请求文本能在主机内存中匹配到历史前缀键-值缓存，则将所述历史前缀键-值缓存确定为初步预填充推理结果； 根据所述请求文本、所述初步预填充推理结果和所述目标语句进行预填充推理处理，以得到预填充推理结果； 根据所述预填充推理结果进行递归推理处理，以得到递归推理结果； 将所述递归推理结果输出至所述用户端； 所述判断所述请求文本能否在主机内存中匹配到预存储的历史前缀键-值缓存，包括： 获取所述主机内存中的树状结构数据，其中所述树状结构数据包括一个或多个树节点数据，各树节点数据对应一个预存储的历史前缀键-值缓存；获取各历史前缀键-值缓存对应的标识信息；判断所述请求文本能否匹配到对应的标识信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。