买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利推理请求处理方法、电子设备、存储介质及计算机程序产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120745847B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511250826.8，技术领域涉及：G06N5/04；该发明授权推理请求处理方法、电子设备、存储介质及计算机程序产品是由张一鸣;张宇;舒继武;沈志荣;吴荣鑫;高聪明;黄华勋;吕熠娜设计研发完成，并于2025-09-03向国家知识产权局提交的专利申请。

本推理请求处理方法、电子设备、存储介质及计算机程序产品在说明书摘要公布了：本公开提供了一种推理请求处理方法、电子设备、存储介质及计算机程序产品。本公开属于计算机技术领域，本公开的推理请求处理方法包括：接收推理请求，对推理请求进行请求类型确定，将推理请求确定为第一类型推理请求或第二类型推理请求。在模型的预填充阶段，使用量化计算的线性层以及稀疏注意力机制对第一类型推理请求进行处理，确定第一键值缓存集合，或对第二类型推理请求进行全量计算，确定第二键值缓存集合。以及在模型的解码阶段，根据注意力评分函数确定的第一键值缓存集合中的目标键值缓存，确定第一类型推理请求的推理结果，或根据第二键值缓存集合中的全部键值缓存，确定第二类型推理请求的推理结果。

本发明授权推理请求处理方法、电子设备、存储介质及计算机程序产品在权利要求书中公布了：1.一种推理请求处理方法，所述推理请求通过模型进行处理，其特征在于，包括： 接收推理请求，对所述推理请求进行请求类型确定，将所述推理请求确定为第一类型推理请求或第二类型推理请求，所述第一类型推理请求为低精度型推理请求，所述第二类型推理请求为高精度型推理请求； 在所述模型的预填充阶段，使用量化计算的线性层以及稀疏注意力机制对所述第一类型推理请求进行处理，确定所述第一类型推理请求对应的第一键值缓存集合，或对所述第二类型推理请求进行全量计算，确定所述第二类型推理请求对应的第二键值缓存集合；以及 在所述模型的解码阶段，根据注意力评分函数确定的所述第一键值缓存集合中的目标键值缓存，确定所述第一类型推理请求的推理结果，或根据所述第二键值缓存集合中的全部键值缓存，确定所述第二类型推理请求的推理结果； 其中，根据注意力评分函数确定的所述第一键值缓存集合中的目标键值缓存，确定所述第一类型推理请求的推理结果，包括：在所述模型的解码阶段，基于注意力评分函数确定所述第一键值缓存集合中第一键值缓存的注意力得分；将所述注意力得分大于或等于目标得分的第一键值缓存集合作为目标键值缓存；基于所述目标键值缓存确定所述第一类型推理请求的推理结果； 其中，在所述模型的解码阶段，基于注意力评分函数确定所述第一键值缓存集合中第一键值缓存的注意力得分，包括：基于所述第一类型推理请求的上下文信息，确定查询向量；基于解码阶段的线性层和自注意力机制对所述第一键值缓存集合中第一键值缓存进行处理，确定所述第一键值缓存的中间状态信息的键值缓存条目；所述键值缓存条目包括键向量及对应的值向量；基于注意力评分函数比较所述查询向量与所述键向量的相似度，确定所述第一键值缓存集合中第一键值缓存的注意力得分。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361005 福建省厦门市思明区思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。