买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广东工业大学申请的专利基于Transformer的序列分类预测方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116578699B 。

龙图腾网通过国家知识产权局官网在2025-12-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310379608.9，技术领域涉及：G06F16/35；该发明授权基于Transformer的序列分类预测方法和系统是由詹培林;黄庆杰;黄维爽;郑曼娜;卢立仁;林庆文设计研发完成，并于2023-04-10向国家知识产权局提交的专利申请。

本基于Transformer的序列分类预测方法和系统在说明书摘要公布了：本发明提供一种基于Transformer的序列分类预测方法和系统，该方法包括构建整数id词表，将所有初始序列拆分为待训练数据集；建立用于序列分类预测的Transformer神经网络模型并进行特定的初始化，为该模型添加递归位置编码矩阵，将待训练数据集输入初始化后的模型进行分类预测训练，当交叉熵损失最小时，完成训练；最后将待分类的文本序列数据集进行拆分后输入训练后的Transformer神经网络模型进行分类预测，获得序列分类预测结果；本发明通过Summer初始化和Cumsum计算在序列分类任务中，能够在捕捉序列的线性结构信息的同时降低特征捕捉的计算时间，从而提高了模型的收敛能力和预测准确度。

本发明授权基于Transformer的序列分类预测方法和系统在权利要求书中公布了：1.一种基于Transformer的序列分类预测方法，其特征在于，包括以下步骤： S1：获取初始文本序列数据集及其对应的类别，将初始文本序列数据集中的所有序列进行拆分并对相同的字符串进行去重，将每个字符串与不同的整数id一一对应并构建成词表，根据词表利用整数id替换所有拆分后序列中的字符串并获取待训练数据集； S2：建立用于序列分类预测的Transformer神经网络模型； S3：初始化Transformer神经网络模型，为Transformer神经网络模型添加位置编码矩阵，获得初始化后的Transformer神经网络模型，具体为： 初始化Cumsum层中预设的第一、第二和第三权重矩阵Wq、Wk和Wv，并计算获取第一、第二和第三注意力矩阵Q、K和V； 将第一、第二和第三注意力矩阵Q、K和V进行分头操作，利用Summer初始化的方法生成与第一和第二注意力矩阵Q和K维度相同的第一和第二位置编码矩阵Mq和Mk； 根据第一和第二位置编码矩阵Mq和Mk以及第一和第二注意力矩阵Q和K，通过哈达玛积和Cumsum计算，分别获得初始化后的第一和第二注意力矩阵Q’和K’； 将初始化后的第一和第二注意力矩阵Q’和K’，以及第三注意力矩阵V作为初始化后的Transformer神经网络模型的注意力矩阵，完成模型的初始化； 所述Summer初始化具体为： 设置标准差为0.005、均值为0的截断式正态分布的初始化器并在0附近生成正值和负值，将所有生成的负值通过绝对值方式化正； 在-1维度上通过Cumsum计算得到第一和第二位置编码矩阵Mq和Mk； S4：将待训练数据集输入初始化后的Transformer神经网络模型进行分类预测训练，并利用预设的损失函数计算分类预测的损失值，当分类预测的损失值最小时，完成训练，获得训练后的Transformer神经网络模型； S5：获取待分类的文本序列数据集，将待分类的文本序列数据集进行拆分后输入训练后的Transformer神经网络模型进行分类预测，获得序列分类预测结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东工业大学，其通讯地址为：510080 广东省广州市越秀区东风东路729号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。