买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京航空航天大学申请的专利一种面向BERT模型的神经网络二值化量化方法及量化装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114282521B 。

龙图腾网通过国家知识产权局官网在2026-02-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111679941.9，技术领域涉及：G06F40/205；该发明授权一种面向BERT模型的神经网络二值化量化方法及量化装置是由刘祥龙;秦浩桐;丁一芙;闫青华设计研发完成，并于2021-12-31向国家知识产权局提交的专利申请。

本一种面向BERT模型的神经网络二值化量化方法及量化装置在说明书摘要公布了：本发明公开了一种面向BERT模型的神经网络二值化量化方法及量化装置，用于执行自然语言处理任务。在BERT模型的二值化阶段，输入数据首先经过二值化嵌入层，随后被送入转化器模块；转化器模块包括多头注意力模块和前馈网络；在多头注意力模块中引入基于信息论的双向注意力机制，采用具有最大化信息熵的二值化表示，使二值化模型恢复对输入数据的感知；在确定BERT模型的优化方向时，首先通过重新选择提取参数来提供匹配的优化方向，然后构建相似性矩阵来消除尺度差异和数值不稳定性。利用本发明，可以满足自然语言处理任务中，既保留BERT模型的全精度又降低存储消耗和计算量的实际需求。

本发明授权一种面向BERT模型的神经网络二值化量化方法及量化装置在权利要求书中公布了：1.一种面向BERT模型的神经网络二值化量化方法，用于执行自然语言处理任务，其特征在于包括如下步骤： 在BERT模型的二值化阶段，输入数据首先经过二值化嵌入层，随后被送入转化器模块；所述转化器模块包括多头注意力模块和前馈网络； 在所述多头注意力模块中引入基于信息论的双向注意力机制，采用具有最大化信息熵的二值化表示，使二值化模型恢复对输入数据的感知； 在确定BERT模型的优化方向时，首先通过重新选择提取参数来提供匹配的优化方向，然后构建相似性矩阵来消除尺度差异和数值不稳定性， 其中，二值化表示的最大化信息熵， 是以概率质量函数p从信息熵中取样的随机变量， 在二值化线性层中，应用零均值的预二值化权重使二值化权重和激活的信息最大化； 通过应用bool函数，使注意权重中值较低的元素被二值化为0， 所述双向注意力机制通过如下公式实现： 其中，D是特征维度，是二值化的注意权重，是二值化值，是二值化的输出投影，是二值化的键矩阵的转置，是一个Bitwise-Affine矩阵乘法运算器，由和位移组成。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京航空航天大学，其通讯地址为：100191 北京市海淀区学院路37号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。