买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海交通大学申请的专利基于离群值分离激活值混合量化的神经网络优化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119761429B 。

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411911735.X，技术领域涉及：G06N3/0495；该发明授权基于离群值分离激活值混合量化的神经网络优化方法是由朱弘恣;邓卓宏;过敏意设计研发完成，并于2024-12-24向国家知识产权局提交的专利申请。

本基于离群值分离激活值混合量化的神经网络优化方法在说明书摘要公布了：一种基于离群值分离激活值混合量化的神经网络优化方法，采用Z‑Score方式将预处理后的激活值分解为离群值和正常值后，分别对正常值使用采用4bit分组量化、对于离群值采用8bit量化并保存到显存中，在反向传播计算到该层时对保存的量化后离群值和正常值进行恢复处理实现优化。本发明能够减小前向传播后保存在显存中的激活值大小，保证模型可以训练的同时，显著减小所有层前向传播之后保存的总激活值大小，相比其他技术，能够提供更高吞吐率，并且能够尽可能减小量化误差。

本发明授权基于离群值分离激活值混合量化的神经网络优化方法在权利要求书中公布了：1.一种基于离群值分离激活值混合量化的神经网络优化方法，其特征在于，包括： 步骤1、对激活值进行预处理：在训练过程中通过view函数将激活值input[s,b,h]改变为[s,b*h]以及图片中所示的输入激活值input2D，其中：s为序列长度，b为批处理大小，h为隐藏层的维数； 步骤2、采用离群值分离模块将步骤1预处理后的激活值分成离群值部分和正常值部分； 步骤3、对于分离出的正常值部分，使用4bit量化减小其显存占用，使用分组量化的方式，将激活值中的每行分为一组，为每一组计算缩放因子Sf32，通过该缩放因子对该组中的所有激活值进行量化；对于离群值部分，采用8bit量化尽量减小量化误差后，将量化后的离群值outlierint8和正常值normalint4以及各自的缩放因子Sf32保存到显存中；同时，激活值的通道掩码mask也需要进行保存用于反向传播中恢复原始激活值； 所述的分组量化是指：将激活值的每个元素作为在内存上连续存储的数据，将内存上地址连续的G个元素作为一组进行量化，每组共享量化参数； 步骤4、在反向传播计算到该隐藏层时，从内存中分别取出量化后保存的离群值和正常值以及对应的缩放因子，根据缩放因子和量化之后的值分别恢复原始离群值和正常值后，生成一个空的激活值，其形状和原始未压缩的激活值形状相同；根据保存的离群通道掩码mask和正常值掩码~mask，为新生成的激活值进行赋值，恢复原始二维激活值，再通过view函数恢复激活值的原始视图； 所述的分组量化，具体为：采用对称量化方式先计算每组量化的缩放因子后，计算量化后的元素，将每组的缩放因子和量化后的数据保存到显存中，并在反向传播中使用恢复原始激活值，其中：为该分组量化的组中绝对值最大的元素，B为量化比特能为的最大有符号正数，分别对应4bit量化的8和8bit量化的128。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海交通大学，其通讯地址为：200240 上海市闵行区东川路800号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。