买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉科大讯飞股份有限公司申请的专利一种推理方法、相关装置及推理系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119918679B 。

龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510419806.2，技术领域涉及：G06N5/04；该发明授权一种推理方法、相关装置及推理系统是由张晨;赵向军;仉乾隆设计研发完成，并于2025-04-03向国家知识产权局提交的专利申请。

本一种推理方法、相关装置及推理系统在说明书摘要公布了：本申请公开了一种推理方法、相关装置及推理系统，应用于推理加速技术领域，推理方法包括：云端服务器通过对第一模型进行模型蒸馏得到第二模型，通过复制第二模型得到影子模型，将第二模型发送至终端；终端在本地部署第二模型，利用本地的第二模型对用户请求进行推理；终端将推理相关数据发送至云端服务器；云端服务器利用推理相关数据，辅以第一模型对影子模型进行参数优化，将影子模型的优化后参数发送至终端；终端根据影子模型的优化后参数对本地的第二模型进行参数优化。由于推理过程由端侧的本地小模型完成，因此，本申请公开的推理方法具有较高的推理速度，另外，本申请提供的推理方法可通过云侧的影子模型实现对于端侧模型的优化。

本发明授权一种推理方法、相关装置及推理系统在权利要求书中公布了：1.一种推理方法，其特征在于，应用于云端服务器，所述云端服务器上部署有第一模型，所述推理方法包括： 通过对所述第一模型进行模型蒸馏得到第二模型，并通过复制所述第二模型得到影子模型； 将所述第二模型发送至终端，以便所述终端在本地部署所述第二模型，并利用本地的所述第二模型对用户请求进行推理； 接收所述终端发送的推理相关数据，利用所述推理相关数据，辅以所述第一模型，对所述影子模型进行参数优化； 将所述影子模型的优化后参数发送至所述终端，以便所述终端根据所述影子模型的优化后参数对本地的所述第二模型进行参数优化； 所述利用所述推理相关数据，辅以所述第一模型，对所述影子模型进行参数优化，包括： 获取两个模型中的一个模型对所述用户请求进行推理得到的推理结果以及所述推理结果中每个词的第一概率信息；利用所述两个模型中的另一个模型，依据所述用户请求和所述推理结果，获取所述推理结果中每个词的第二概率信息；所述两个模型中的一个模型为所述第一模型，另一个模型为所述影子模型或者所述第二模型； 根据所述推理结果中每个词的第一概率信息和第二概率信息，确定表征所述两个模型推理差异的预测损失；根据所述预测损失对所述影子模型进行参数优化； 所述根据所述推理结果中每个词的第一概率信息和第二概率信息，确定表征所述两个模型推理差异的预测损失，包括： 在词的概率信息为词对应的候选词概率分布的情况下，针对所述推理结果中的每个词：分别根据该词对应的第一候选词概率分布和该词对应的第二候选词概率分布，按预设的筛选策略从各候选词中筛选部分候选词，对筛选出的候选词进行合并、去重，由合并、去重后的候选词组成候选词集；从该词对应的第一候选词概率分布中获得所述候选词集中每个候选词对应的第一概率，并从该词对应的第二候选词概率分布中获得所述候选词集中每个候选词对应的第二概率，根据所述候选词集中每个候选词对应的第一概率和第二概率确定所述候选词集中每个候选词对应的概率差异表征值；将所述候选词集中各候选词分别对应的概率差异表征值融合，得到该词对应的预测损失； 将所述推理结果中各词分别对应的预测损失融合，得到表征所述两个模型推理差异的预测损失。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人科大讯飞股份有限公司，其通讯地址为：230088 安徽省合肥市高新区望江西路666号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。