买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京邮电大学申请的专利基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统和方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116186606B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310092594.2，技术领域涉及：G06F18/241；该发明授权基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统和方法是由戚琦;王兴宇;王程森;王敬宇;张磊;王晶设计研发完成，并于2023-01-29向国家知识产权局提交的专利申请。

本基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统和方法在说明书摘要公布了：基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统，包括如下模块：数据输入与预处理模块、模型预训练模块、指导微调模块、异常检测模块、模型模块和存储模块；基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的方法，包括如下操作步骤：1数据输入与预处理模块对时间序列数据进行预处理；2模型模块进行模型预训练；3指导微调模块指示模型模块进行指导微调；4异常检测模块融合训练好的预训练模型与微调完毕的指导向量，指示模型模块进行异常检测和分类任务。

本发明授权基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统和方法在权利要求书中公布了：1.基于预训练模型指导微调的半监督少样本时间序列异常检测与分类的系统，其特征在于：所述系统包括如下模块： 数据输入与预处理模块：该模块的功能是对大量的无标签时间序列数据、少样本有标签时间序列数据和待检测的时间序列数据进行预处理；所述的预处理包括但不限于如下操作：数据清洗、特征选择、数据规范化、滑动时间窗口划分；所述时间序列数据包括CPU占用率、TCP握手时延和内存占用率； 所述数据清洗操作是指：对原始序列，删除不合法的数值； 所述特征选择操作是指：对完成数据清洗的多维时间序列进行特征选择，删除多维时间序列中对任务没有意义序列，包括全0序列、纯平稳序列； 所述数据规范化操作是指：对特征选择完的时间序列数据进行零均值标准化，即对特征选择完的时间序列数据减该时间序列数据的均值，除以该时间序列数据的标准差； 所述滑动时间窗口划分操作是指：对时间序列数据进行滑动时间窗口划分，使其划分为多个固定大小的时间窗口w，每个时间窗口看做一个向量，多个向量组成一个矩阵； 模型预训练模块：该模块的功能是向所述的数据输入与预处理模块请求无标签时间序列数据，指示模型模块进行模型预训练；模型模块的模型预训练完毕后，模型预训练模块向存储模块请求保存预训练好的预训练模型，存储模块返回是否保存成功； 所述的模型预训练包括两种预训练任务，即掩码时间序列建模预训练任务MTM和连续时间序列推断预训练任务CTI； 所述的掩码时间序列建模预训练任务MTM的内容是：对已经完成预处理的时间序列数据随机掩码一定比例的时间序列数据，掩码时间序列建模预训练任务的训练目标是让模型输出被掩码的时间序列数据； 所述的连续时间序列推断预训练任务CTI的内容是：训练模型对时间序列数据的推断能力，即判断两个时间序列段是否是来自同一时间序列的连续段； 在所述的掩码时间序列建模预训练任务MTM中，随机掩码一定比例的时间序列数据是通过构造一个掩码矩阵来实现的，的每个元素mij表示一个布尔掩码，代表第i个时间序列的第j个时间窗口wij是否被掩码，如果时间窗口wij没有被掩码，则mij＝1，否则mij＝0； 在所述的连续时间序列推断预训练任务CTI中，通过构造一个分割标记矩阵来表示时间序列数据是否需要进行推断任务，分割标记矩阵的每个元素为cij，具体定义如下：cij代表时间窗口wij的位置是否是连续时间序列的分割点，即第i个时间序列的第j个时间窗口wij是否需要进行推断任务；cij＝0代表不需要进行推断任务；cij＝1代表需要进行推断任务； 所述模型预训练模块在进行模型的预训练时，所采用的总损失函数Ltotal定义如下： Ltotal＝αLMTM+1-αLCTI 上式中，α为比例参数，范围是[0,1]； 上式中，LMTM表示掩码时间序列建模预训练任务的损失函数，LCTI表示连续时间序列推断预训练任务的损失函数； LMTM具体定义如下： 上式中，表示预训练数据集中的无标签时间序列数据的嵌入向量矩阵，εi表示所述的嵌入向量矩阵中的第i个行向量，代表所述无标签时间序列数据的第i个时间窗口wi的嵌入向量；E[]代表数学期望，yij表示所述嵌入向量εi内的第j个分量的真实值，表示嵌入向量εi内的第j个分量的掩码重建值；||εi||表示所述嵌入向量εi的长度； LCTI具体定义如下： 上式中，y^是模型预测样本是正样本的概率；y是样本标签，如果样本属于正样本，取值为1，否则取值为0；E[]代表数学期望； 指导微调模块：该模块的功能是首先向存储模块请求读取预训练模型，存储模块返回训练好的预训练模型；然后指导微调模块向所述的数据输入与预处理模块请求有标签时间序列数据，指示模型模块进行指导微调；指导微调完毕后，指导微调模块向存储模块请求指导向量的存储，存储模块返回是否保存成功； 异常检测模块：该模块的功能是首先向所述的数据输入与预处理模块请求待检测的时间序列数据；向存储模块请求读取训练好的预训练模型，存储模块返回训练好的预训练模型；向存储模块请求读取微调完毕的指导向量，存储模块返回微调完毕的指导向量；然后异常检测模块融合所述的训练好的预训练模型与微调完毕的指导向量，指示模型模块进行异常检测和分类任务；检测完毕后输出异常检测和分类的结果； 模型模块：该模块的功能是：根据所述的模型预训练模块的指令，执行模型的预训练操作；根据所述的指导微调模块的指令，执行指导微调的操作；根据所述的异常检测模块的指令，执行异常检测的操作；所述的模型模块由编码器网络、解码器网络构成；所述的编码器网络由一个嵌入编码子层和NE个编码器块堆叠而成；所述的解码器网络由一个嵌入编码子层和ND个解码器块堆叠而成；所述的编码器网络的嵌入编码子层和所述的解码器网络的嵌入编码子层结构完全相同； 存储模块：该模块的功能是负责存储预训练好的预训练模型和微调完毕的指导向量； 所述的编码器网络的编码器块的功能是学习每个时间序列数据有意义的表示，将时间序列数据的嵌入矩阵编码为隐藏表示空间中的特征向量Hen，使所述的解码器网络能够进行MTM任务和CTI任务，并且为后续的异常检测和分类任务做准备；所述的特征向量Hen公式如下： 上式中，Encoders表示所述的编码器网络的NE个编码器块；所述的编码器块主要由三部分组成：多头多尺度注意力子层、多尺度注意力融合子层、前馈全连接子层；在所述的多尺度注意力融合子层和所述的前馈全连接子层后都进行残差和归一化； 所述的解码器网络的功能是执行所述的MTM任务、CTI任务和异常检测和分类任务；解码器网络的输入为所述嵌入编码子层为解码器网络生成的嵌入矩阵和所述编码器网络输出的对时间序列数据编码生成的特征向量Hen，解码器网络时刻t的输出为： 上式中，Decoders表示所述的解码器网络的ND个解码器块；所述的解码器块主要由四部分组成：掩码多头多尺度注意力子层、多尺度注意力融合子层、多头注意力子层和前馈全连接子层；在所述的掩码多头多尺度注意力子层、多尺度注意力融合子层和前馈全连接子层后都进行残差和归一化； 所述的编码器块和解码器块中的前馈全连接子层结构完全相同，均采用全连接线性神经网络，由两个线性变换组成，中间使用ReLU函数激活；公式如下： 其中，x1表示前馈全连接子层的输入，b1、b2是可学习的参数； 所述的编码器块和解码器块中的残差和归一化操作的具体内容是： 残差连接是将输入数据x2直接馈送到子层模块，防止过多堆叠模块层数导致过拟合和学习失败；归一化采用层归一化，只是在层的维度进行归一化；残差和归一化的总体公式为： ResNormx2＝LayerNormx2+Sublayerx2 其中，ResNormx2表示残差和归一化操作的结果；LayerNorm表示层归一化；Sublayerx2表示子层模块的输出； 所述的多头多尺度注意力子层和掩码多头多尺度注意力子层具有相同的结构，均包括高斯核注意力单元、多头可解释指导注意力单元和图注意力单元； 所述的多头多尺度注意力子层和掩码多头多尺度注意力子层均从小、中和大三个尺度对时间序列数据进行处理，即：使用所述的高斯核注意力单元对时间序列数据窗口内的小尺度时间序列数据进行处理，得到结果使用多头可解释指导注意力单元对时间序列数据窗口间的中尺度的时间序列数据进行处理，得到结果使用图注意力单元对时间序列数据间的大尺度时间序列数据进行处理，得到结果 所述的高斯核注意力单元对时间序列数据窗口内的小尺度时间序列进行处理的具体内容是： 上式中，[α'ij]代表一个N行N列的矩阵，N等于窗口的大小|w|，矩阵的每个元素是α'ij；exp代表指数函数；尺度变量矩阵Σ中第i行第j列的元素σij，是可学习的尺度变量，对应于时间序列的第i个窗口的第j个分量；所述尺度变量矩阵Σ用全连接线性神经网络实现，即其中Wσ是所述全连接线性神经网络的可学习的参数，是所述嵌入编码子层输出的时间序列数据的嵌入矩阵； 所述的多头可解释指导注意力单元由Nh个单头可解释指导注意力单元组成；所述的单头可解释指导注意力单元由单头可解释注意力子单元和可插拔、可学习的注意力指导子单元构成； 所述的使用多头可解释指导注意力单元对时间序列数据窗口间的中尺度的时间序列数据进行处理是指对时间序列数据窗口间的中尺度的时间序列数据进行处理，具体内容是： 上式中，是一个注意力分数矩阵，矩阵的每一项为多头可解释指导注意力分数；Nh是所述的多头可解释指导注意力单元的头总数；WO是可学习的参数，用于最终多头的线性映射；Qh表示第h个头的单头可解释指导注意力单元的查询矩阵，Kh表示第h个头的单头可解释指导注意力单元的键矩阵；dk表示编码器块或解码器块的隐藏层向量的维度，softmax表示softmax函数，[；]代表矩阵连接操作；是由所述的可插拔、可学习的注意力指导子单元为第h个头的单头可解释指导注意力单元的键矩阵Kh所添加的键指导矩阵，使用全连接线性神经网络变换得到； 所述使用图注意力单元对时间序列间的大尺度时间序列进行处理的具体内容是：图注意力能够对任意图中节点之间的关系进行建模，每条时间序列看做图中的一个节点，每条边表示两条时间序列特征之间的关系；通过这种方式，捕捉多条时间序列之间的关系； 处理结果是一个注意力矩阵，该矩阵的第i行第j列的元素β'ij按照下式进行计算： 上式中，表示连接操作，和WP是可学习参数，LeakyReLU是非线性激活函数；xi和xj分别表示第i条和第j条时间序列，n表示时间序列的个数； 所述的多尺度注意力融合子层的功能是对所述的多头多尺度注意力子层所处理得到的三个尺度的特征进行融合，具体计算方法如下； 按照下式，计算融合后的注意力分数矩阵 上式中，LayerNorm是层归一化操作； η1＝ELUW4γ1+W5γ2+W6γ3+b4 η2＝W7η1+b5 上式中，GLUI代表用于控制输入的输入门控线性单元，GLUO代表用于控制输出的输出门控线性单元： GLUIη＝softmaxW8η+b6⊙W9η+b7 GLUOη＝sigmoidW10η+b8⊙W11,ωη+b9 ELU代表指数线性单元；W1到W11和b1到b9为可学习的参数； 按照下式计算所述的多尺度注意力融合子层的输出X'： 其中，V表示所述的多头可解释指导注意力单元的值矩阵；[；]代表矩阵连接操作；φV表示由所述的可插拔、可学习的注意力指导子单元为所述的多头可解释指导注意力单元的值矩阵V所添加的值指导矩阵。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京邮电大学，其通讯地址为：100876 北京市海淀区西土城路10号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。