买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉科大讯飞股份有限公司申请的专利大模型推理方法、装置、相关设备及计算机程序产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120430418B 。

龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510901036.5，技术领域涉及：G06N5/04；该发明授权大模型推理方法、装置、相关设备及计算机程序产品是由胡国平;李锐;王勃;刘权;法羚玲;刘聪;王士进设计研发完成，并于2025-07-01向国家知识产权局提交的专利申请。

本大模型推理方法、装置、相关设备及计算机程序产品在说明书摘要公布了：本申请公开了一种大模型推理方法、装置、相关设备及计算机程序产品，涉及人工智能领域，本申请先获取待处理问题的问题陈述，而后在大模型基于问题陈述进行链式推理过程中，依据当前推理节点的输入token判断当前节点是否为关键节点，若不是，则对前节点的原始输出token进行压缩处理，基于压缩处理结果推理后续节点。本申请先对推理节点关键与否进行了判定，而后在进行后续推理时压缩非关键推理节点的输出token，减少了后续推理过程所需处理的输入数据量，加快了后续处理速度，有助于优化链式推理，特别是长链式推理的计算效率。

本发明授权大模型推理方法、装置、相关设备及计算机程序产品在权利要求书中公布了：1.一种大模型推理方法，其特征在于，包括： 获取待处理问题的问题陈述； 在大模型基于所述问题陈述进行链式推理的过程中，依据当前推理节点的输入词元token判断所述当前推理节点是否为关键节点； 在所述当前推理节点不是关键节点的情况下，对所述当前推理节点的原始输出token进行压缩处理，基于压缩处理结果推理后续节点；其中，所述原始输出token为大模型在与所述当前推理节点对应的推理过程中生成的token； 其中，所述依据当前推理节点的输入词元token判断所述当前推理节点是否为关键节点，包括： 获取大模型基于所述当前推理节点的输入token算得的注意力矩阵； 依据所述注意力矩阵分别判断构成所述输入token的各token的注意力分布不确定性是否在与所述输入token对应的预设限度内； 若所述输入token中至少预设个数的token的注意力分布不确定性在预设限度内，则所述当前推理节点是关键节点，否则所述当前推理节点不是关键节点； 其中，对于所述输入token中的每一个token，当前token的注意力分布不确定性使用所述当前token的注意力熵融合值表示，其中，所述当前token的注意力熵融合值为基于所获取的各个注意力矩阵确定出的所述当前token在各个注意力头的注意力熵值的融合值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人科大讯飞股份有限公司，其通讯地址为：230088 安徽省合肥市高新区望江西路666号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。