买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉微医云(杭州)控股有限公司申请的专利文本处理模型的训练方法、文本处理方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120067697B 。

龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510525695.3，技术领域涉及：G06F18/214；该发明授权文本处理模型的训练方法、文本处理方法及装置是由杨清霖;章炳男;徐红霞;李鑫;邵谦;陈启源;廖杰远设计研发完成，并于2025-04-25向国家知识产权局提交的专利申请。

本文本处理模型的训练方法、文本处理方法及装置在说明书摘要公布了：本发明提供了一种文本处理模型的训练方法、文本处理方法及装置，文本处理模型包括：多个专家模块、路由模块和基座模型层，该方法包括：获取训练样本集；将训练样本集中的每个复合文本数据输入到专家模块和路由模块，得到每个复合文本数据的引导序列；将每个复合文本数据和每个复合文本数据的引导序列输入到基座模型层，得到每个复合文本数据的推理结果；基于每个复合文本数据的推理结果和复合文本数据的标注结果，确定损失函数值；基于损失函数值，更新专家模块和路由模块的模型参数。本发明提高了基座模型在复合任务上的能力，降低了模型训练对基座模型的影响。

本发明授权文本处理模型的训练方法、文本处理方法及装置在权利要求书中公布了：1.一种文本处理模型的训练方法，其特征在于，所述文本处理模型包括：多个专家模块、路由模块和基座模型层，其中，所述专家模块包括：多层网络结构的动态专家模块和一层网络结构的静态专家模块；所述动态专家模块包括：第一编码结构、上采样结构、门控结构和下采样结构；所述上采样结构为一层全连接神经网络，所述门控结构为一层全连接神经网络和一层激活层；所述下采样结构为一层全连接神经网络；所述静态专家模块包括：第二编码结构，所述第二编码结构为一层全连接神经网络；所述路由模块为单层神经网络结构；所述训练方法包括： 获取训练样本集；其中，所述训练样本集中包括：多个由单一文本任务的文本数据复合而成的复合文本数据；所述单一文本任务的文本数据至少包括：文本相似度识别任务、文本类别识别任务、文本特征抽取任务、文本回答任务； 将所述训练样本集中的每个复合文本数据输入到所述专家模块和所述路由模块，得到每个所述复合文本数据的引导序列； 将每个所述复合文本数据和每个所述复合文本数据的引导序列输入到所述基座模型层，得到每个所述复合文本数据的推理结果； 基于每个所述复合文本数据的推理结果和所述复合文本数据的标注结果，确定损失函数值； 基于所述损失函数值，更新所述专家模块和所述路由模块的模型参数； 将所述训练样本集中的每个复合文本数据输入到所述专家模块和所述路由模块，得到每个所述复合文本数据的引导序列，包括：对于所述训练样本集中的每个复合文本数据，将所述复合文本数据输入到所述专家模块，得到每个所述专家模块输出的引导序列；将所述训练样本集中的每个复合文本数据输入到所述路由模块，得到每个所述专家模块的权重系数，并将所述权重系数按照从大到小的顺序进行排序，按照排序结果选取预设数量的专家模块的权重系数作为所述路由模块的输出结果；其中，所述路由模块的输出结果包括：所述预设数量的专家模块的编号以及对应的权重系数；基于所述路由模块输出的所述预设数量的专家模块的编号以及对应的权重系数，将所述权重系数与对应的专家模块输出的引导序列进行加权计算，得到所述复合文本数据的引导序列。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人微医云(杭州)控股有限公司，其通讯地址为：311200 浙江省杭州市萧山区萧山经济技术开发区金一路79号D座366室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。