买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国人民解放军空军工程大学申请的专利一种基于轻量化Transformer的HRRP序列识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116645615B 。

龙图腾网通过国家知识产权局官网在2025-07-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310124590.8，技术领域涉及：G06V20/13；该发明授权一种基于轻量化Transformer的HRRP序列识别方法是由王鹏;王晓丹;宋亚飞;向前;李京泰设计研发完成，并于2023-02-16向国家知识产权局提交的专利申请。

本一种基于轻量化Transformer的HRRP序列识别方法在说明书摘要公布了：本发明公开了一种基于轻量化Transformer的HRRP序列识别方法，包括以下步骤：S1、采用旋转位置编码为HRRP序列嵌入位置信息；S2、提出一种局部聚合注意力单元LAU，利用分组线性变换能够有效地聚合和提取局部特征，利用自注意力机制实现对全局信息地感知和增强；S3、利用轻量化前馈神经网络LW‑FFN对增强后的特征进行提取；S4、采用LabelSmoothing正则化为样本标签引入噪声。本发明利用局部聚合注意力单元、轻量化FFN和LabelSmoothing正则化对传统的Transformer进行改进，在有效实现轻量化的前提下，进一步提高了识别性能，有利于部署于边缘设备。

本发明授权一种基于轻量化Transformer的HRRP序列识别方法在权利要求书中公布了：1.一种基于轻量化Transformer的HRRP序列识别方法，其特征在于，包括以下步骤： S1、采用旋转位置编码为HRRP序列嵌入位置信息； 旋转位置编码是一种乘性编码，通过绝对位置编码的方式实现相对位置编码，旋转位置编码的计算如下：假设HRRP序列为X＝[x1,x2,...,xN]，其中N表示序列长度，传统的绝对位置编码在嵌入层之后增加位置信息，绝对位置编码嵌入位置信息的计算方式为 fxi,i＝Wxi+pi1 其中i为xi的位置，是一个可训练的d维的位置向量，d取决于xi，相对位置编码是在自注意力机制中增加相对位置信息，嵌入相对位置的计算方式为 其中是可训练的相对位置矩阵，c＝clipm-n,rmin,rmax表示位置m和n的相对位置，随着相对位置之间距离的增加，数据之间的相关性减弱，故c设置了限制范围rmax，超过限制范围则认为相关性一致；增加位置矩阵后，绝对位置矩阵在自注意力机制计算注意力权值过程为 相对位置编码的核心思想是将第三项和第四项中嵌入的绝对位置向量pn替换为相对位置向量pm-n，并将第三项和第四项中的替换为两个可训练的向量uT和vT，为了区分内容和位置，参数矩阵分别用Wk和Wk′，所以在相对位置编码中自注意力机制计算权值方式变为 旋转位置编码对相对位置编码进行改进，其计算为 其中旋转矩阵为 其中旋转位置编码在自注意力机制计算注意力权值时，可以得到 S2、提出一种局部聚合注意力单元，利用分组线性变换能够有效地聚合和提取局部特征，利用自注意力机制实现对全局信息地感知和增强； 局部聚合注意力单元包括分组线性变换、非线性激活、层归一化、自注意力机制和残差连接，通过局部特征聚合和全局感知有效地进行特征增强，将经过编码的向量I＝gX作为局部聚合注意力单元的输入，经过局部聚合注意力单元进行局部特征聚合和全局特征增强，输出增强后的特征F，在局部特征聚合阶段，假设共有L层分组线性变换，在前层做升维操作，剩余的层进行降维，计算各层分组线性变换的分组数量具体的过程为 式中nl为第l层分组线性变换的组的数量，nmax为分组线性变换的组的数量的最大值，各层分组线性变换的计算为 式中，M·表示进行残差拼接、非线性激活函数GELU和层归一化操作，局部特征聚合对局部特征通过先升维再降维的方式得到深层的局部特征，且在每一层分组线性变换中均采用残差拼接操作，避免模型加深丢失原始信息，低维的聚合特征更加易于自注意力机制进行处理，将低维的聚合特征作为自注意力机制的输入，进行全局感知操作，根据信息检索的相关原理，自注意力机制通过查询向量和键向量计算序列数据的相关性得到注意力矩阵，进而与值矩阵计算全局增强后的特征为 式中查询向量Q＝YWQ，键向量K＝YWK和值向量V＝YWV，其中WQ,WK,WV为可学习的参数矩阵； 最后，为保证输入输出的维度一致，故在自注意力机制处理后需要对向量首先进行升维处理，同时，为了避免模型过深导致重要特征丢失，最后增加残差连接，以保留原始特征中重要信息，可以得到 F＝I+WsA11 式中，Ws是对自注意力机制的输出进行升维处理的参数矩阵； S3、利用轻量化前馈神经网络对增强后的特征进行提取； 假设输入的特征F的维度为dm，轻量化FFN先降维至再升维至dm，在性能不变的前提下，降低了16倍参数量，轻量化FFN进行特征提取的计算过程为 Om＝FeedforwardF＝F+ReluFW1+b1W2+b212 式中，W1,b1分别是降维时的参数矩阵和偏置向量，W2,b2分别是降维时的参数矩阵和偏置向量，Relu·为非线性激活函数； 经过堆叠的M层LAT编码器处理后，最后使用SoftMax为分类器，输出的结果为 式中，OM为第M层LAT编码器的输出，exp·表示e的指数函数，K表示总的类别数； S4、采用LabelSmoothing正则化为样本标签引入噪声； 在对样本的标签进行编码时，传统的one-hot编码的概率分布为 为了增强模型的泛化性能，对one-hot编码进行改进，LabelSmoothing引入softone-hot编码为标签增加模糊噪声，增加LabelSmoothing后，softone-hot标签的概率分布为 式中，K表示多分类任务中的类别总数，i表示类别数，ε是超参数； 在使用交叉熵损失函数计算预测值和真实值的损失值时，交叉熵损失函数的计算方式为 式中，pi为真实值的概率，qi为预测值的概率； LabelSmoothing正则化中各类别的损失函数计算为 式中，ε是超参数，在神经网络训练过程中，最小化预测值和真实值的交叉熵损失值时得到最优的预测概率分布为 式中，K表示多分类任务中的类别总数，ε是超参数，α为任意实数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军空军工程大学，其通讯地址为：710038 陕西省西安市灞桥区长乐东路甲字一号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。