买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉苏州大学申请的专利BERT模型的训练方法、系统、计算机设备、存储介质及程序产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119441870B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411461152.1，技术领域涉及：G06F18/214；该发明授权BERT模型的训练方法、系统、计算机设备、存储介质及程序产品是由肖义胜;梁小波;贾科航;李俊涛;张民设计研发完成，并于2024-10-18向国家知识产权局提交的专利申请。

本BERT模型的训练方法、系统、计算机设备、存储介质及程序产品在说明书摘要公布了：本发明提供一种BERT模型的训练方法、系统、计算机设备、存储介质及程序产品，属于自然语言处理技术领域。其中方法包括利用预先构建的BERT模型以多个解码路径分别生成多个序列；将多个序列划分为正样本和负样本；利用参考模型对正样本和负样本进行采样，以构建偏好学习损失函数；构建正则惩罚项损失函数；构建掩码预测损失函数；根据偏好学习损失函数、正则惩罚项损失函数和掩码预测损失函数确定BERT模型的总损失，得到训练好的BERT模型。采用上述方案指导BERT模型学习不同解码路径对输出的影响，增强BERT模型在复杂解码空间中选择路径并生成更高质量序列的能力。

本发明授权BERT模型的训练方法、系统、计算机设备、存储介质及程序产品在权利要求书中公布了：1.一种BERT模型的训练方法，其特征在于，包括： 利用预先构建的BERT模型以多个解码路径分别生成多个文本序列； 将多个文本序列划分为正样本和负样本； 利用参考模型对正样本和负样本进行采样，以构建偏好学习损失函数，所述偏好学习损失函数表达式为： ，其中，LD为偏好学习损失值；σ表示sigmoid函数；β表示控制偏好学习损失的超参数；πθ·表示策略模型；πref·表示参考模型；Yp表示正样本；Yn表示负样本；Yobs1表示正样本中未屏蔽的部分；X1表示正样本对应的源序列；Yobs2表示负样本中未屏蔽的部分；X2表示负样本对应的源序列； 构建正则惩罚项损失函数，所述正则惩罚项损失函数表达式为： ，其中，LP为正则惩罚项损失值；πref·表示参考模型；πθ·表示策略模型；Yp表示正样本；Yn表示负样本；Yobs1表示正样本中未屏蔽的部分；X1表示正样本对应的源序列；Yobs2表示负样本中未掩码的部分；X2表示负样本对应的源序列； 构建掩码预测损失函数，所述掩码预测损失函数表达式为： ，其中，LM为掩码预测损失值；Ymask表示在输入序列中被掩码的标记的集合；yi为Ymask中单个元素，表示第i个被掩码的标记；Yobs表示输入序列中未被掩码的标记的集合；X表示输入到模型中的源序列；θ表示训练过程中需要学习的权重和偏置； 根据偏好学习损失函数、正则惩罚项损失函数和掩码预测损失函数确定BERT模型的总损失，得到训练好的BERT模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人苏州大学，其通讯地址为：215000 江苏省苏州市吴江区久泳西路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。