买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州元脑智能科技有限公司申请的专利模型推理方法、装置、计算机设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119886354B 。

龙图腾网通过国家知识产权局官网在2026-01-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411996835.7，技术领域涉及：G06N5/04；该发明授权模型推理方法、装置、计算机设备及存储介质是由赵旭东;毛峻雄;吴韶华设计研发完成，并于2024-12-30向国家知识产权局提交的专利申请。

本模型推理方法、装置、计算机设备及存储介质在说明书摘要公布了：本发明涉及人工智能技术领域，公开了模型推理方法、装置、计算机设备及存储介质，方法包括：接收多个推理请求，推理请求包括提示词；为各推理请求分配局部过滤缓存空间，局部过滤缓存空间用于存储局部过滤缓存值；获取各推理请求的局部过滤缓存空间中的局部过滤缓存值，对局部过滤缓存值进行拼接，获得拼接序列；利用大语言模型基于各推理请求的提示词和拼接序列进行多次推理，获得各推理请求的推理结果；在每次推理结束后，对各推理请求的局部过滤缓存空间中存储的局部过滤缓存值进行更新，以基于更新后的局部过滤缓存值进行下一次推理。本发明在高并发场景下，能够准确对推理请求进行推理，确保了推理结果的准确性。

本发明授权模型推理方法、装置、计算机设备及存储介质在权利要求书中公布了：1.一种模型推理方法，其特征在于，所述方法包括： 接收用户输入的多个推理请求，所述推理请求包括提示词； 为各所述推理请求分配局部过滤缓存空间，所述局部过滤缓存空间用于存储局部过滤缓存值，所述局部过滤缓存空间与所述推理请求相关联； 获取各所述推理请求的局部过滤缓存空间中的局部过滤缓存值，对所述局部过滤缓存值进行拼接，获得拼接序列； 利用大语言模型基于各所述推理请求的提示词和所述拼接序列进行多次推理，获得各所述推理请求的推理结果； 其中，在每次推理结束后，对各所述推理请求的局部过滤缓存空间中存储的局部过滤缓存值进行更新，以基于更新后的局部过滤缓存值进行下一次推理； 所述方法还包括： 在每次推理过程中，对所述拼接序列进行更新； 所述大语言模型包括多个转换层，每个转换层包括局部过滤注意力层，所述在每次推理过程中，对所述拼接序列进行更新，包括： 在利用大语言模型对任一推理请求进行第一次推理，经过第一转换层中的局部过滤注意力层的情况下，从第一拼接序列中获取所述推理请求对应的第一转换层的第一局部过滤缓存值，拼接所述第一转换层的第一局部过滤缓存值和所述推理请求对应的向量序列，获得第一拼接结果，将所述第一拼接序列中的所述推理请求对应的第一转换层的第一局部过滤缓存值更新为所述推理请求对应的向量序列； 基于第一卷积层对所述第一拼接结果进行卷积操作，获得第一卷积结果，从第二拼接序列中获取所述推理请求对应的第一转换层的第二局部过滤缓存值，拼接所述第一转换层的第二局部过滤缓存值和所述第一卷积结果，获得第二拼接结果，对所述第二拼接结果进行卷积操作，获得第二卷积结果，将所述第二卷积结果输入自注意力层以进行前向传播计算，将所述第二拼接序列中的所述推理请求对应的第一转换层的第二局部过滤缓存值更新为所述第一卷积结果； 在利用大语言模型对该推理请求进行第一次推理，经过除了第一转换层之外的其他转换层中的任一转换层的局部过滤注意力层的情况下，从第一拼接序列中获取所述推理请求对应的所述转换层的第一局部过滤缓存值，拼接所述转换层的第一局部过滤缓存值和所述转换层的前一转换层的输出结果，获得第三拼接结果，将所述第一拼接序列中的所述推理请求对应的所述转换层的第一局部过滤缓存值更新为所述前一转换层的输出结果； 基于第一卷积层对所述第三拼接结果进行卷积操作，获得第三卷积结果，从第二拼接序列中获取所述推理请求对应的所述转换层的第二局部过滤缓存值，拼接所述转换层的第二局部过滤缓存值和所述第三卷积结果，获得第四拼接结果，对所述第四拼接结果进行卷积操作，获得第四卷积结果，将所述第四卷积结果输入自注意力层以进行前向传播计算，将所述第二拼接序列中的所述推理请求对应的所述转换层的第二局部过滤缓存值更新为所述第三卷积结果； 其中，所述局部过滤缓存空间包括第一局部过滤缓存空间和第二局部过滤缓存空间，所述拼接序列包括第一拼接序列和第二拼接序列，对各所述推理请求的第一局部过滤缓存空间中的第一局部过滤缓存值进行拼接，获得第一拼接序列，对各所述推理请求的第二局部过滤缓存空间中的第二局部过滤缓存值进行拼接，获得第二拼接序列。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州元脑智能科技有限公司，其通讯地址为：215000 江苏省苏州市吴中经济开发区郭巷街道官浦路1号9幢；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。