买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海鼎茂信息技术有限公司申请的专利一种日志语言模型训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115757695B 。

龙图腾网通过国家知识产权局官网在2025-12-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211405950.3，技术领域涉及：G06F16/334；该发明授权一种日志语言模型训练方法及系统是由田富龙;杜庆峰;何诚;吴嘉琦设计研发完成，并于2022-11-10向国家知识产权局提交的专利申请。

本一种日志语言模型训练方法及系统在说明书摘要公布了：本发明提供一种日志语言模型训练方法，接受日志的输入并构建对应的日志语料库，构造数据集训练相应的日志语言模型，使用日志语言模型对日志模板进行向量表征，将得到的日志模板向量应用到异常检测的下游任务训练中，截取固定序列长度的日志段落用于构建句子对，即将固定长度的日志段落随机划分为两个长句，分别为句子A和句子B，将日志语料重复构造十次形成数据集。本发明能够对不同系统的日志训练对应的日志语言模型，提升日志词向量的语义表达能力；生成的日志模板向量输入到日志异常检测、日志分类等下游任务模型中进行训练，提升了模型的效果。

本发明授权一种日志语言模型训练方法及系统在权利要求书中公布了：1.一种日志语言模型训练方法，其特征在于，接受日志的输入并构建对应的日志语料库，构造数据集训练相应的日志语言模型，使用日志语言模型对日志模板进行向量表征，将得到的日志模板向量应用到异常检测的下游任务训练中，其中数据集构造具体步骤如下： S1、对日志语料库内日志语料进行分词，然后遍历日志语料； S2、截取固定序列长度的日志段落用于构建句子对，即将固定长度的日志段落随机划分为两个长句，分别为句子A和句子B； S3、计算概率，产生0～1随机数，当数值小于0.5，将句子B替换为其它日志段落中的句子，否则维持句子B不变；拼接句子A和句子B并添加CLS和SEP标识符，分别构成NSP任务的正例和反例，NSP是通过学习两个句子的语义信息判断句子对是否相邻的预训练方法； S4、步骤S3中的句子对中每个词对应的位置打乱，选择词序列排序前15％的句子对进行掩码，每个词有80％的概率替换为mask标签，10％的概率替换为词表中的任意词，10％的概率保持原词不变；将被替换的词在词表中的索引作为标签用于MLM任务的训练，MLM是将语言模型通过还原被替换的词汇来学习预料中的语义信息的模型； S5、将日志语料重复构造十次形成数据集； 还包括步骤S5后的语言模型训练，具体步骤如下： S6、在通用预训练语言模型的基础上固定预训练语言模型的参数，使其不参与梯度计算； S7、构建三个适配器用于接收预训练语言模型第0、6和11层的输出向量以及前一个适配器的输出向量； S8、得到两个维度为768维的初始输出向量，将两个初始输出向量连接后输入到全连接层进行降维，最终得到维度为768的向量作为该语言模型的最终输出向量，由所述最终输出向量形成所述日志模板向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海鼎茂信息技术有限公司，其通讯地址为：200061 上海市普陀区岚皋路555号1708室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。