买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安建筑科技大学申请的专利一种基于ERNIE_CN-GRU语步自动识别方法、系统、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116756605B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310534825.0，技术领域涉及：G06F18/24；该发明授权一种基于ERNIE_CN-GRU语步自动识别方法、系统、设备及介质是由温浩;王杰设计研发完成，并于2023-05-11向国家知识产权局提交的专利申请。

本一种基于ERNIE_CN-GRU语步自动识别方法、系统、设备及介质在说明书摘要公布了：本发明提供一种基于ERNIE_CN‑GRU语步自动识别方法、系统、设备及介质，通过获取段落的完整数据，并构建数据集；搭建ERNIE预训练模型，融合多头自注意力机制学习文本语义得到融合多头注意力机制的词向量特征矩阵；基于ERNIE预训练模型和词向量特征矩阵进行CN‑GRU特征识别网络训练，形成ERNIE_CN‑GRU模型；将数据集输入搭建的ERNIE_CN‑GRU模型中，接入Softmax分类器实现语步识别，输出识别标签；本发明利用结合大规模文本内容与知识图谱的ERNIE预训练模型学习文本深层语义，改善了传统机器学习未充分挖掘和利用词语之间的内在关系和特征的弊端，具有较好的可迁移性和鲁棒性。

本发明授权一种基于ERNIE_CN-GRU语步自动识别方法、系统、设备及介质在权利要求书中公布了：1.一种基于ERNIE_CN-GRU语步自动识别方法，其特征在于，包括以下步骤： S1：获取段落的完整数据，并构建数据集； S2：搭建ERNIE预训练模型，融合多头自注意力机制学习文本语义得到融合多头注意力机制的词向量特征矩阵； 搭建ERNIE预训练模型时，采用Transformer-XL特征处理器融合多头自注意力机制学习文本语义得到融合多头注意力机制的词向量特征矩阵； 搭建ERNIE预训练模型包括以下步骤： A1：编写预训练模型调用接口，加载预训练模型所需要预训练参数信息；ERNIE预训练模型利用三段单字掩码、短语和实体层次的掩码信息整合方式得到词、短语、实体的完整语义； A2：经过三段掩码的词向量输入Transformer-XL编码器，经过词嵌入Embedding过程，为Embedding层权重参数，将高维稀疏词向量矩阵转换为低维稠密词向量矩阵，即为每个语句的词嵌入向量； A3：对于单个self-attention计算所得的三个权重矩阵、、将词嵌入向量与三者分别相乘所得矩阵Q、K和V表示目前词与句中其他词之间的相关度，为了防止结果过大，除以他们维度的均方根，表示一个Q或矩阵向量的维度，其中为可学习变量用于一段范围内相对距离计算，接着通过Softmax函数归一化，得到归一化后各个词与其他词的相关度，再与V矩阵相乘，即加权求和，得到每个词新的向量编码，其公式如下： ； A4：将每个单个self-attention计算所得Q、K、V矩阵按照切分的head合并，点乘权重，将切分后的head线性转换为原维度的矩阵，得到Multi-Head矩阵，其过程可以表示为： ； ； A5：将Multi-Head计算所得Q、K、V矩阵输入Addamp;Norm层进行自注意力输入输出相加和归一化处理，再经过全连接层的前馈神经网络与Addamp;Norm层处理，得到融合多头注意力机制的词向量特征矩阵，矩阵中包含模型学习的文本特征以及文本所包含的上下文语义信息； S3：基于ERNIE预训练模型和词向量特征矩阵进行CN-GRU特征识别网络训练，形成ERNIE_CN-GRU模型； 形成ERNIE_CN-GRU模型包括以下步骤： B1：将预训练模型输出的词向量特征矩阵输入CNN模型的卷积层，通过卷积层提取预训练模型所学习到的文本深层语义知识的特征； B2：将CNN模型的卷积层提取到的文本语义特征输入CNN模型的池化层，通过池化层对文本语义特征进行筛选； B3：将筛选所得文本语义数据输入CNN模型的全连接FC层中，将非线性文本语义数据特征转化为线性文本语义数据特征，便于通过线性文本语义数据特征进一步建立预测模型； B4：将CNN输出的线性文本语义数据特征输入BIGRU双向门控网络中进一步提取文本语义特征； S4：将数据集输入搭建的ERNIE_CN-GRU模型中，接入Softmax分类器实现语步识别，输出识别标签。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安建筑科技大学，其通讯地址为：710055 陕西省西安市碑林区雁塔路13号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。