买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)申请的专利基于多头注意力机制和RNN-LSTM网络的数据预取方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120196565B 。

龙图腾网通过国家知识产权局官网在2026-01-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510269950.2，技术领域涉及：G06F12/0862；该发明授权基于多头注意力机制和RNN-LSTM网络的数据预取方法是由王春晓;刘振阳;王英龙;赵志刚;张俭;周智伟;王雨欣;李昱辰设计研发完成，并于2025-03-07向国家知识产权局提交的专利申请。

本基于多头注意力机制和RNN-LSTM网络的数据预取方法在说明书摘要公布了：本发明涉及数据预取技术领域，尤其是提供了一种基于多头注意力机制和RNN‑LSTM网络的数据预取方法。该方法包括获取初始数据集，并进行比例划分，得到训练数据集，验证数据集和测试数据集；对初始数据集进行预处理，获得预处理后的数据集；通过多头注意力机制和RNN‑LSTM循环神经网络，构建循环神经网络融合模型；通过预处理后的训练数据集，验证数据集和测试数据集分别对循环神经网络融合模型进行训练、验证和测试，以实现数据预取，该方法通过融合技术，利用RNN‑LSTM在处理长时间序列的强大基础和特定多头注意力机制，提高了数据预取的精确性和高效性，减少了数据读取的延迟。

本发明授权基于多头注意力机制和RNN-LSTM网络的数据预取方法在权利要求书中公布了：1.一种基于多头注意力机制和RNN-LSTM网络的数据预取方法，其特征在于，所述方法包括： 步骤1、获取初始数据集，并进行比例划分，得到训练数据集，验证数据集和测试数据集；对初始数据集进行预处理，获得预处理后的数据集； 步骤2、通过多头注意力机制和RNN-LSTM循环神经网络，构建循环神经网络融合模型； 步骤3、通过预处理后的训练数据集，验证数据集和测试数据集分别对循环神经网络融合模型进行训练、验证和测试，以实现数据预取； 所述步骤1中所述获取初始数据集包括： 首先需要读取Master节点的闪存芯片的缓存区，生成时间戳，时间戳从缓存区读取第一个文件的唯一地址时间记录开始，每5min生成一次；其次，每5min进行一次统计，记录当前内存中所有的唯一页面；记录所有唯一页面之间的内存偏移量；记录读取每个唯一页面的网络占用率；最后进行数据整合，生成时间戳timescamp、偏移量target、宽带占用率dynamic_feat，唯一页面映射ID，的数据集形式； 所述比例划分包括：采集10000条数据，去除掉偏移量较大的数据，有效数据剩下8000条；并使用自定义代码将整个数据集按照6：2：2的比例设置训练数据集，验证数据集和测试数据集； 所述对初始数据集进行预处理，获得预处理后的数据集包括： 数据归一化：采用的归一化操作是Sklearn中的MinMaxScaler函数实现的，MinMaxScaler将其所有数值缩放到指定的范围，其公式为： 其中，X是原始数据的特征值；Xmin是原始数据特征值X在数据中的最小值；Xmax是原始数据特征值X在数据中的最大值；Xscaled是归一化最后的结果； 将数据集中的宽带占用率dynamic_feat、唯一页面映射ID、偏移量target列进行数据的归一化操作； 数据预测模式处理：定义一个数据输入和预测的模式，所述模式使用自定义的函数create_fixed_sequnences实现，具体操作步骤为先输入sequence_length，作为模型的输入时间序列步长，然后模型返回一个预测结果，即得到一个预测时间步长，并返回相应的时间戳；其中，采用的sequence_length设置为64，代表输入64个步长的时间序列，让模型进行学习，从而进行一个步长的时间序列的预测； 所述步骤2中循环神经网络融合模型包括： a、输入层：输入层的维度为sequence_length，feature_dim；其中，sequence_length表示时间步数；feature_dim表示每个时间步的特征维度；输入层将原始的时间序列数据输入模型，以供提取特征； b、自注意力机制层：注意力机制中，输入的每一个元素都会根据其与其他元素的关系分配一个权重值，所述权重值通过点积来计算，注意力机制的计算，其公式为： 其中，Q是查询向量query，代表当前要关注的目标；K是键向量key，代表所有输入中的特征；V是值向量value，即与键向量相关联的实际信息；dk是键向量的维度，用于缩放； c、残差块：残差块直接把低层网络的计算结果传递给高层网络，残差块的公式为： Xl+1＝Xl+AXl+Wl； 其中，Xl为第l层的输入，AXl+Wl为第l层的带掩码的多头自注意力机制模块的输出； d、归一化层：选用层归一化LayerNormalization对数据进行处理；层归一化是对一层的所有神经元进行归一化；假设第l层的神经元的第i个输入为zil，其均值和方差的表达式分别为： 其中，nl为第l层神经元的数量； 层归一化定义为： 其中γ表示缩放的参数向量，β表示平移的参数向量，参数向量γ和β的维数均与zl的维数相同； e、RNN-LSTM循环神经网络层： RNN-LSTM循环神经网络层采用两层循环神经网络RNN和三层长短期记忆网络LSTM以及三层全连接层构成； 1RNN的基本单元是一个循环单元RecurrentUnit，其接收一个输入和一个来自上一个时间步的隐藏状态，并输出当前时间步的隐藏状态；基本的RNN结构由输入层、一个隐藏层和输出层组成；将基本的RNN结构在时间维度上展开，得到RNN整个的网络结构框架； RNN网络在t时刻接收到输入xt之后，隐藏层的值是st，公式如下： st＝fU×xt+W×st-1； U是输入x的权重矩阵，W是上一次隐藏层值st-1作为当前的输入权重矩阵，f是激活函数，s的值取决于x和st-1 输出值为o，计算公式如下： ＝gV×s； V是输出层的权重矩阵，g是激活函数； 隐藏层共有两个输入，第一是输入层到隐藏层的权重矩阵U与输入x的乘积；第二是上一次隐藏层值st-1和W的乘积，即上一个时刻计算的st-1需要缓存，与输入x计算，共同输出最后的o 采用两层RNN神经网络，第一层RNN共有128个神经元，第二层的RNN共有64个神经元；第一层和第二层的激活函数均为ReLU函数；两层RNN层用于接收并处理多头注意力机制层的输出结果，学习多步时间序列特征之间的关系，并将其输出给长短期记忆网络LSTM层； 2LSTM核心是每个神经元均包含遗忘门、输入门和输出门的单元；每个门均为一种特殊的结构，用于控制信息的流动，将之前时刻的信息传递到当前时刻，从而捕捉到数据中的时间依赖性；LSTM神经网络包括： 遗忘门ForgetGate： 遗忘门的作用是决定从单元状态中丢弃什么信息；其通过下面的公式来计算： ＝σW×[ht-1,x]+b； 其中，f表示在时间t的遗忘门输出，σ是sigmoid函数，W和b是遗忘门的权重和偏置，ht-1是前一个隐藏状态，x是当前输入； 输入门InputGate： 输入门用于更新单元状态，其由sigmoid层和tanh层两部分组成； it＝σWi×[ht-1,xt]+bi； 其中，it是输入门的输入，是候选值向量； 输出门OutputGate： 输出门用于确定下一个隐藏状态，隐藏状态包含关于先前输入的信息，并用于预测， ot＝σWo×[ht-1,xt]+bo； ht＝ot*tanhCt； 其中，ot是输出门的输出，ht是当前的隐藏状态，Ct是当前的单元状态； LSTM层共采用三层，第一层LSTM的神经元数为64，第二层LSTM神经元数为32，第三层LSTM神经元数为32；第一层、第二层和第三层的激活函数均为Tanh函数； 3全连接层： 在全连接层Dense中，所有输入节点和输出节点之间是完全连接的；采用三层全连接层作为RNN-LSTM循环神经网络层最后的全连接层； 第一层全连接层神经元数为32，第二层全连接层神经元数为16，最后一层全连接层神经元数为8，三层全连接层的激活函数均为ReLU函数； f、前馈层： 前馈层用于提供更多的学习能力，前馈网络是一个二层网络，第一层的激活函数为ReLU函数，对于输入序列中每个位置上的向量x，其表达式为： FFNx＝max0,xW1+b1W2+b2； g、输出层： 输出层的神经元数量与特征维度一致，未设置激活函数，直接生成预测值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人齐鲁工业大学(山东省科学院);山东省计算中心(国家超级计算济南中心)，其通讯地址为：250353 山东省济南市长清区西部新城大学科技园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。