买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学申请的专利一种BERT中层归一化非线性函数的FPGA加速方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115965062B 。

龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211135447.0，技术领域涉及：G06N3/063；该发明授权一种BERT中层归一化非线性函数的FPGA加速方法是由曹家林;王堃设计研发完成，并于2022-09-19向国家知识产权局提交的专利申请。

本一种BERT中层归一化非线性函数的FPGA加速方法在说明书摘要公布了：本发明公开了一种BERT中层归一化非线性函数的FPGA加速方法，包括以下步骤：通过量化公式得到非对称量化公式和对称量化公式；运用所述非对称量化公式和所述对称量化公式，基于量化方法对层归一化操作模块进行处理，得到将浮点数运算转化为整数运算以及移位操作的算法；将所述算法部署到FPGA上。该发明用量化方法对层归一化模块进行处理，并部署到FPGA上，在保证精度损失可接受的前提下，对层归一化模块进行压缩和加速，最终提高整个BERT模型的运行速度。

本发明授权一种BERT中层归一化非线性函数的FPGA加速方法在权利要求书中公布了：1.一种BERT中层归一化非线性函数的FPGA加速方法，其特征在于，包括以下步骤： 通过量化公式得到非对称量化公式和对称量化公式； 运用所述非对称量化公式和所述对称量化公式，用量化方法对层归一化操作模块进行处理，得到将浮点数运算转化为整数运算以及移位操作的算法； 将所述算法部署到FPGA上，在保证精度损失可接受的前提下，对层归一化模块进行压缩和加速，最终提高整个BERT模型的运行速度；其中： 通过量化公式得到非对称量化公式和对称量化公式的方法包括： 设置量化公式为： ；1 其中，是一个浮点数，是浮点数对应的整数，是表示浮点数与整数之间的比例关系，表示实数中的0经过量化之后对应的整数； 将作为非对称量化公式； 浮点数对应的整数公式为： ；2 其中，是四舍五入操作； 设置和的公式:3 ；4 采用对称量化操作，即 ,,,其中为量化后整数的位数，代入到式中得，将代入到非对称量化公式中，得到对称量化公式： ；5 运用所述非对称量化公式和所述对称量化公式，用量化方法对层归一化操作模块进行处理，将浮点数运算转化为整数运算以及移位操作的方法包括： 层归一化公式为： 、；7 其中，为输入向量中的一个值，下标表示序号；为输入向量的平均值；是输入向量的方差；是一个很小的预设值，用于防止太小，导致分式的分母为0，在本文中设置为0.01；为归一化结果向量中的一个值，下标表示序号；为增益向量中的一个值，下标表示序号；和偏移向量中的一个值，下标表示序号；是结果向量中的一个值，下标表示序号； 对参数向量和参数向量进行对称量化，对输入向量和输出向量进行非对称量化； 将非对称量化公式和对称量化公式代入层归一化公式，得到: ；8 其中，、； 输入矩阵的零点对于运算没有影响，式8经过变换之后，得到： ；9 其中，、、、、、均为整数，用牛顿迭代法计算之后得到一个整数，因此，式9中只有和两项为浮点数，它们分别表示两个浮点缩放因子的比值； 将浮点数运算转化成整数运算以及移位操作； 对和两项进行如式10的近似处理，以在误差可接受的前提下，提高运算效率： ；；10 其中，、、、均为整数，和通过右移和位实现； 将式10代入式9中，得到式11： 。11

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。