买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉科大讯飞股份有限公司申请的专利混合专家网络训练方法、问答方法、相关设备及程序产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120258046B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510737431.4，技术领域涉及：G06N3/045；该发明授权混合专家网络训练方法、问答方法、相关设备及程序产品是由于振华;汪锦想;许瑞阳;胡文龙;张海俊;潘青华设计研发完成，并于2025-06-04向国家知识产权局提交的专利申请。

本混合专家网络训练方法、问答方法、相关设备及程序产品在说明书摘要公布了：本申请公开了一种混合专家网络训练方法、问答方法、相关设备及程序产品，本申请将混合专家网络中第二专家层FC2和Unpermute操作层融合为第一融合层，在前向传播过程仅需保存第一融合层的输入及每个token对应专家的概率Probs，在反向传播过程，第一融合层的输入既可以用来计算第一融合层参数的梯度，又可以用来计算Probs的梯度，无需额外保存FC2的输出，降低了需要保存的激活的显存占用量。进一步还可以将Permute操作和FC1融合为第二融合层，前向传播过程仅保存本地输入子序列，反向传播梯度计算过程可以获取其它设备输入的子序列，相比于现有技术无需保存完整的输入序列，进一步降低显存占用量。

本发明授权混合专家网络训练方法、问答方法、相关设备及程序产品在权利要求书中公布了：1.一种混合专家网络训练方法，其特征在于，所述混合专家网络包括重排列Permute操作层、第一专家层FC1、激活网络及第一融合层，所述第一融合层融合有第二专家层FC2和反重排列Unpermute操作层，方法包括： 获取当前设备输入的子序列及其它设备输入的子序列，组成完整输入序列； 将所述完整输入序列依次经过所述Permute操作层、所述FC1、所述激活网络进行前向传播，得到所述激活网络的输出； 将所述激活网络的输出作为所述第一融合层的输入，在所述第一融合层的前向传播过程，依次执行所述FC2和所述Unpermute操作层的处理，并保存所述第一融合层的输入及所述完整输入序列中每个令牌token所对应专家的概率Probs至显存，其中所述完整输入序列中每个token对应专家的Probs由混合专家网络中的路由模块计算得到； 在所述第一融合层的反向传播过程，基于所述显存中保存的所述第一融合层的输入和所述Probs，分别计算第一融合层参数的梯度，以及所述Probs的梯度； 按照反向传播过程各层参数的梯度，更新所述混合专家网络的参数； 其中，所述Permute操作层和所述FC1组成第二融合层； 在所述第二融合层的前向传播过程，保存当前设备输入的子序列，获取其它设备输入的子序列，与当前设备输入的子序列组成所述完整输入序列，对所述完整输入序列依次执行所述Permute操作层和所述FC1的处理，将处理结果作为所述激活网络的输入； 在所述第二融合层的反向传播过程，与其他设备通信获取其它设备输入的子序列，基于保存的当前设备输入的子序列和所述其它设备输入的子序列，计算第二融合层参数的梯度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人科大讯飞股份有限公司，其通讯地址为：230088 安徽省合肥市高新区望江西路666号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。