买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京天融信网络安全技术有限公司;北京天融信科技有限公司;北京天融信软件有限公司申请的专利BERT模型的微调方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116933862B 。

龙图腾网通过国家知识产权局官网在2026-02-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310943985.0，技术领域涉及：G06N3/092；该发明授权BERT模型的微调方法、装置、设备及存储介质是由安晓宁设计研发完成，并于2023-07-28向国家知识产权局提交的专利申请。

本BERT模型的微调方法、装置、设备及存储介质在说明书摘要公布了：本申请实施例提供一种BERT模型的微调方法、装置、设备及存储介质，涉及计算机技术领域。所述方法包括：根据文本语料生成原始词元列表，并获取所述原始词元列表的词频统计信息；基于所述词频统计信息确定掩码生成策略，并根据所述掩码生成策略对所述原始词元列表进行掩码处理，得到掩码处理结果；基于所述掩码处理结果对预训练的BERT模型进行迭代学习直至满足预设的条件，得到微调BERT模型。本申请通过统计文本语料对应的词频信息，并根据词频自适应调整掩码生成概率，使得不同频率的词元生成的掩码分布更加均匀，更好地保留了文本语料的语义信息，从而提高了BERT模型对掩码语料的学习能力。

本发明授权BERT模型的微调方法、装置、设备及存储介质在权利要求书中公布了：1.一种BERT模型的微调方法，其特征在于，包括： 根据文本语料生成原始词元列表，并获取所述原始词元列表的词频统计信息； 基于所述词频统计信息确定掩码生成策略，并根据所述掩码生成策略对所述原始词元列表进行掩码处理，得到掩码处理结果； 基于所述掩码处理结果对预训练的BERT模型进行迭代学习直至满足预设的条件，得到微调BERT模型； 所述基于所述词频统计信息确定掩码生成策略，并根据所述掩码生成策略对所述原始词元列表进行掩码处理，得到掩码处理结果，包括： 基于所述词频统计信息对所述原始词元列表进行词元预抽样，得到预抽样词元列表； 根据预设的掩码生成概率以及所述原始词元列表与所述预抽样词元列表的词元数量对比关系确定最终生成概率； 基于所述预抽样词元列表和所述最终生成概率对所述原始词元列表进行掩码处理，得到掩码处理结果； 所述根据预设的掩码生成概率以及所述原始词元列表与所述预抽样词元列表的词元数量对比关系确定最终生成概率，包括： 获取所述原始词元列表的词元数量与所述预抽样词元列表的词元数量的目标比值； 基于预设的掩码生成概率与所述目标比值的乘积确定所述最终生成概率； 或者，所述基于所述词频统计信息确定掩码生成策略，并根据所述掩码生成策略对所述原始词元列表进行掩码处理，得到掩码处理结果，包括： 根据所述词频统计信息获取所述原始词元列表中每个词元的出现频率； 根据每个词元的出现频率确定所述原始词元列表中对应的每个词元的被抽取概率； 基于所述每个词元的被抽取概率对所述原始词元列表进行掩码处理，得到掩码处理结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京天融信网络安全技术有限公司;北京天融信科技有限公司;北京天融信软件有限公司，其通讯地址为：100085 北京市海淀区上地东路1号院3号楼四层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。