买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中山大学申请的专利一种Transformer神经网络系统及其运算方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116502675B 。

龙图腾网通过国家知识产权局官网在2026-01-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310344442.7，技术领域涉及：G06N3/0455；该发明授权一种Transformer神经网络系统及其运算方法是由张正贵;虞志益;肖山林设计研发完成，并于2023-03-31向国家知识产权局提交的专利申请。

本一种Transformer神经网络系统及其运算方法在说明书摘要公布了：本发明公开了一种Transformer神经网络系统及其运算方法，模型包括：序列特征提取算法模块、联合多头注意力算法模块、高效计算算法模块、Transformer硬件加速算法模块以及判断、控制及调度系统方法算法模块。本发明既能为设计终端应用的更优秀的AI处理核、SOC集成，或者在类似的平台上开发更新的算法模块带来的技术，也能为直接使用本发明的方法，使用到目前硬件资源中，发挥出Transformer的优势。本发明可以克服存储空间和计算时间的二次方的复杂性，并加快硬件运算速度，可广泛应用于人工智能领域。

本发明授权一种Transformer神经网络系统及其运算方法在权利要求书中公布了：1.一种Transformer神经网络系统，其特征在于，包括： 数据存储模块，包括输入矩阵存储单元、权重矩阵存储单元以及临时矩阵存储单元，输入矩阵存储单元的输入端作为数据存储模块的输入接口； 张量运算核，用于运算输入的张量； 输入信号主干神经网络处理模块，将输入的待处理图像信号输出为特征提取信号，作为Transformer输入的序列信号的张量输入； 联合多头注意力处理模块，将输入的Transformer的序列张量输出为注意力矩阵； 前向神经网络处理模块，将输入的多头注意力的归一化评价输出为序列的编码后的矢量； 高效率计算模块，用于将输入的图像系列和神经网络输出为N：M的稀疏网络稀疏特征；还用于将输入的动态注意力矩阵，所述动态注意力矩阵由Q、K、V注意力矩阵间的关联关系运算得到，输出为符合硬件加速条件的稀疏N：M的注意力矩阵； Transformer硬件加速处理模块，用于将输入的无规律的稀疏注意力矩阵输出为符合N：M的结构化的稀疏矩阵；还用于将输入的Q、K矩阵输出为满足预设的数据流特性的矩阵对；还用于采用Autoencoder进行的Q、K特征的压缩，将压缩的结果输出至外存储单元；还用于调入外存储Q、K特征，进行反向编码，在片内存储中得出结果，在控制模块下，完成指定的运算； 残差相加及归一化运算模块，包括残差相加运算模块和层归一化函数运算模块，残差相加模块包括多个加法器，加法器的数量与多头注意力层中任一输入矩阵的行数一致，残差相加模块的输入端接至输入矩阵存储单元的输出端，输出端接至层归一化函数运算模块的输入端；层归一化函数运算模块的输出端作为输出接口； 计算引擎阵列，计算引擎阵列包括多个可配置的计算引擎和片上缓存模块；计算引擎包括可配置级数的多精度的加法器、累加器、非线性运算单元以及多个多精度的并行乘法器；计算引擎阵列用于并行执行线性层运算、非线性层运算、单头注意力层、多头注意力运算及全连接层运算以及残差连接运算；运算包括密集矩阵张量计算、稀疏矩阵张量计算以及其混合运算；片上缓存模块包括权重缓存区、参数缓存区以及多个特征缓存区；计算引擎阵列通过片上缓存模块连接至片外存储，片上缓存模块用于实现计算引擎阵列与片外存储之间的数据交互；非线性层包括Softmax运算模块和归一化运算模块，Softmax运算模块的输入端和归一化运算模块的输入端均与计算引擎阵列的输出端连接，Softmax运算模块和归一化运算模块均与片上缓存模块连接；Softmax运算模块和归一化运算模块用于执行非线性层运算控制模块；计算引擎阵列、Softmax运算模块以及归一化运算模块均与控制模块连接；控制模块用于对计算引擎阵列、Softmax运算模块以及LayerNorm运算模块进行运算配置和访存逻辑调度控制； 判断、调度及控制系统方法模块，作为控制模块，控制模块分别连接并控制数据存储模块、输入主干神经网络处理模块、联合多头注意力处理模块、前向神经网络处理模块、残差及相加模块及层归一化函数运算模块、数据存取模块、张量运算核、高效率计算模块以及Tramsformer加速处理模块。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学，其通讯地址为：510275 广东省广州市海珠区新港西路135号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。