买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉企知道科技有限公司申请的专利企业服务领域预训练对话式大语言模型的构建方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117093684B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310929824.6，技术领域涉及：G06F16/3329；该发明授权企业服务领域预训练对话式大语言模型的构建方法及系统是由左小雷;蔡青山设计研发完成，并于2023-07-26向国家知识产权局提交的专利申请。

本企业服务领域预训练对话式大语言模型的构建方法及系统在说明书摘要公布了：一种企业服务领域预训练对话式大语言模型的构建方法及系统，涉及人工智能技术领域。在该方法中，基于企业信息数据集对预设的基座模型进行语义预测训练，得到第一语义预测模型；基于预设的企业服务领域的指令集，对第一语义预测模型进行微调，得到第二语义预测模型；基于预设的问答分数数据集对第二语义预测模型进行训练，得到奖励模型；将第二语义预测模型作为强化学习算法的策略网络，将奖励模型作为强化学习算法的价值网络，并基于策略网络和价值网络，计算得到时间差误差，并更新策略网络的参数，得到预训练对话式大语言模型。实施本申请提供的技术方案，可以在企业服务领域的问答模型构建的过程中提高模型回答问题的准确程度和自然程度。

本发明授权企业服务领域预训练对话式大语言模型的构建方法及系统在权利要求书中公布了：1.一种企业服务领域预训练对话式大语言模型的构建方法，其特征在于，所述方法包括： 获取企业信息数据集，所述企业信息数据集包括多个企业相关文本，每个所述企业相关文本包括多个企业相关语句； 基于所述企业信息数据集对预设的基座模型进行语义预测训练，得到第一语义预测模型，所述预设的基座模型包括文本屏蔽子模型和自回归训练子模型； 获取预设的企业服务领域的指令集； 基于所述预设的企业服务领域的指令集，对所述第一语义预测模型进行微调，得到第二语义预测模型； 获取预设的问答分数数据集； 基于所述预设的问答分数数据集和pairwise算法，对所述第二语义预测模型进行训练，得到奖励模型； 将所述第二语义预测模型作为强化学习算法的策略网络，将所述奖励模型作为强化学习算法的价值网络，并基于所述策略网络和所述价值网络，计算得到时间差误差； 基于所述时间差误差更新所述策略网络的参数，得到预训练对话式大语言模型； 其中，基于所述企业信息数据集对预设的基座模型进行语义预测训练，得到第一语义预测模型，具体包括： 将多个所述企业相关语句逐一输入至所述文本屏蔽子模型，得到每个所述企业相关语句对应的文本跨度和第一损坏文本； 基于所述文本跨度和所述第一损坏文本对所述文本屏蔽子模型进行语义预测训练，得到第一语义预测子模型； 将多个所述企业相关文本输入至所述自回归训练子模型，得到第二损坏文本和第三损坏文本； 基于所述第二损坏文本和所述第三损坏文本对所述自回归训练子模型进行语义预测训练，得到第二语义预测子模型； 基于所述第一语义预测子模型和所述第二语义预测子模型，得到第一语义预测模型； 其中，所述将多个所述企业相关语句逐一输入至所述文本屏蔽子模型，得到每个所述企业相关语句对应的文本跨度和第一损坏文本，具体包括： 基于所述文本屏蔽子模型，从每个所述企业相关语句中随机选取预设第一比例的第一空白区域；所述第一空白区域包括多个连续跨度的空白文本； 获取所述空白文本的文本跨度； 将所述第一空白区域从每个所述企业相关语句中进行屏蔽处理，得到第一损坏文本； 其中，所述基于所述文本跨度和所述损坏文本对所述文本屏蔽子模型进行语义预测训练，得到第一语义预测子模型，具体包括： 基于所述文本跨度和所述损坏文本，计算生成每个所述空白文本的预测概率； 当多个所述空白文本的预测概率的乘积达到最大时，获取此时的模型参数； 基于所述模型参数对所述文本屏蔽子模型的参数进行更新，得到第一语义预测子模型； 其中，所述将多个所述企业相关文本输入至所述自回归训练子模型，得到第二损坏文本和第三损坏文本，具体包括： 基于所述自回归训练子模型，从每个所述企业相关文本中选取预设比例范围的第二空白区域； 将所述第二空白区域从多个所述企业相关文本中进行屏蔽处理，得到第二损坏文本； 基于所述自回归训练子模型，从多个所述企业相关语句中选取预设第二比例的第三空白区域； 将所述第三空白区域从多个所述企业相关语句中进行屏蔽处理，得到第三损坏文本。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人企知道科技有限公司，其通讯地址为：518000 广东省深圳市南山区西丽街道西丽社区留仙大道创智云城1标段1栋D座2201；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。