买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利基于对称型注意力的机器翻译方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115409043B 。

龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211033784.9，技术领域涉及：G06F40/47；该发明授权基于对称型注意力的机器翻译方法是由杨鹏飞;李述涵;程飞;徐安林;丁跃利;李晨;朱子恒;林成民设计研发完成，并于2022-08-26向国家知识产权局提交的专利申请。

本基于对称型注意力的机器翻译方法在说明书摘要公布了：本发明公开一种基于对称型注意力的机器翻译方法，主要解决现有技术在翻译中未能在多个子空间中利用相关性信息导致解码计算中的参考信息缺失，使翻译结果未能涵盖全部情景的问题。本发明构建的基于对称型注意力的机器翻译模型中由两个平行的对称子空间组成本发明模型中解码器的对称型注意力层，采用对称型注意力算法计算两支对称型注意力并进行融合。本发明的解码器中对称型注意力层与编码器输出的注意力矩阵之间实现了信息交互，提高了全面且准确地获取注意力信息的能力，本发明构建的机器翻译模型在翻译工作中涵盖更全面的语义情景，提高了英译中的准确性。

本发明授权基于对称型注意力的机器翻译方法在权利要求书中公布了：1.一种基于对称型注意力的机器翻译方法，其特征在于，在机器翻译模型的解码器中设置对称型注意力层，在该层的第一对称子空间计算第一支对称型注意力，其中查询矩阵Q’来自解码器，键值矩阵K和实值矩阵V来自编码器；在该层的第二对称子空间计算第二支对称型注意力，其中矩阵Q和矩阵K来自解码器，矩阵V′来自解码器；将两支注意力使用归一化函数融合；该方法具体步骤包括如下： 步骤1，生成训练集： 步骤1.1，选取至少27万条英文语句和其对应的中文翻译语句构成样本集； 步骤1.2，去掉样本集中重复的英文语句及其对应的中文翻译语句，剔除长度相对于所有英文语句平均长度过短或过长的英文语句及其对应的中文翻译语句后得到训练集； 步骤2，构建基于对称型注意力的机器翻译模型： 步骤2.1，构建一个由多头自注意力层、残差层、前向反馈层串联组成的编码器： 所述多头自注意力层含有至少8个子空间，每个子空间通过点积乘法计算当前预测单词与其所属语句中所有单词的自注意力； 所述残差层由层归一化函数实现； 所述前向反馈层的结构依次为：输入层、全连接层、输出层，将输入层、输出层的维度均设置为512，全连接层由最大值函数实现，其维度设置为2048； 步骤2.2，构建一个由多头自注意力层、第一残差层、对称型注意力层、第二残差层、前向反馈层、第三残差层串联组成的解码器： 所述解码器中多头自注意力层、前向反馈层的结构和参数均与步骤2.1中编码器的多头自注意力层和前向反馈层相同； 所述解码器中第一残差层、第二残差层、第三残差层均由层归一化函数实现； 所述对称型注意力层由两个平行的对称子空间组成，采用对称型注意力算法计算两支对称型注意力并进行融合，实现该层与编码器输出的注意力矩阵之间的信息交互； 所述对称型注意力算法指的是，分别提取两个平行的对称子空间中的相关性信息，对两个相关性信息分别进行线性变换得到两个特征矩阵；使用点积乘法计算每个特征矩阵的对称型注意力；通过求和函数，融合两个对称型注意力，将两支对称型注意力的和进行层归一化操作，输出对称型注意力矩阵； 步骤2.3，将输入层、第一嵌入式表达层、第一编码器、第二编码器、第三编码器、第四编码器、第五编码器、第六编码器依次串联组成编码器组； 所述第一嵌入式表达层由嵌入算法实现； 所述第一至第六编码器的结构和参数均相同； 步骤2.4，构建一个解码器组，其中，第二嵌入式表达层、第一解码器、第二解码器、第三解码器、第四解码器、第五解码器、第六解码器、激活层依次串联，激活层还与第二嵌入式表达层相连，第一至第六解码器还分别与编码器组中的第六编码器相连； 所述第二嵌入式表达层的结构和参数均与第一嵌入式表达层相同； 所述第一至第六解码器的结构和参数均相同； 所述激活层由Softmax激活函数实现其功能； 步骤2.5，将编码器组与解码器组串连构成基于对称型注意力的机器翻译模型； 步骤3，训练机器翻译模型： 将训练集分批次依次输入到机器翻译模型中，利用损失函数计算翻译文本与对应的中文文本的损失值，使用梯度下降算法迭代更新机器翻译模型中的可学习参数，使用Adam优化器优化训练过程，直至机器翻译模型的损失值收敛为止，得到训练好的基于对称型注意力的机器翻译模型； 步骤4，使用训练好的机器翻译模型进行翻译： 步骤4.1，去除待翻译英文语句中重复的英文语句，剔除待翻译英文语句中长度相对于所有待翻译英文语句平均长度过短或过长的英文语句； 步骤4.2，将处理后的待翻译语句输入到训练好的基于对称型注意力的机器翻译模型，输出对应的翻译文本。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。