买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海燧原智能科技有限公司申请的专利一种模型量化方法、装置、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117273092B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311234994.9，技术领域涉及：G06N3/0495；该发明授权一种模型量化方法、装置、电子设备及存储介质是由郭敬明;张克俭;刘彦;华远志;柴菁设计研发完成，并于2023-09-22向国家知识产权局提交的专利申请。

本一种模型量化方法、装置、电子设备及存储介质在说明书摘要公布了：本发明实施例公开了一种模型量化方法、装置、电子设备及存储介质，包括：确定目标量化模型中当前目标量化块的当前目标量化层；对目标量化模型进行推理，得到当前目标量化层的推理激活数据；根据模型量化配置文件对当前目标量化层的权重参数和激活数据进行量化，得到当前目标量化层的量化数据；根据推理激活数据和量化激活数据计算当前目标量化层的量化误差；在确定目标量化模型的各量化块完成量化过程的情况下，根据各量化块中量化层的量化误差更新各量化块的量化参数。本发明实施例的技术方案能够提高模型量化方法的适用性、灵活性和高效性。

本发明授权一种模型量化方法、装置、电子设备及存储介质在权利要求书中公布了：1.一种模型量化方法，其特征在于，包括： 确定目标量化模型中当前目标量化块的当前目标量化层； 对所述目标量化模型进行推理，得到所述当前目标量化层的推理激活数据；其中，所述推理激活数据包括推理输入数据和或推理输出数据； 根据模型量化配置文件对所述当前目标量化层的权重参数和激活数据进行量化，得到所述当前目标量化层的量化数据；其中，所述当前目标量化层的量化数据包括所述当前目标量化层的量化权重和量化激活数据；所述激活数据包括所述当前目标量化层的输入数据和或输出数据；所述量化激活数据包括量化输入数据和或量化输出数据； 根据所述推理激活数据和所述量化激活数据计算所述当前目标量化层的量化误差； 在确定所述目标量化模型的各量化块完成量化过程的情况下，根据各所述量化块中量化层的量化误差更新各量化块的量化参数； 确定运行所述目标量化模型的目标设备的硬件结构支持的目标数据类型； 根据所述目标设备的硬件结构支持的目标数据类型对所述目标量化模型的量化权重进行压缩处理； 在所述目标设备运行所述目标量化模型的过程中，加载所述目标量化模型当前量化层的量化数据和目标量化参考参数； 在确定所述量化输入数据与所述量化权重的量化结果均为int4的情况下，对所述量化输入数据与所述量化权重进行四比特矩阵乘法，并将矩阵相乘结果与所述目标量化参考参数做乘积运算，得到当前量化层输出数据； 在确定所述量化输入数据的量化结果为int8且所述量化权重的量化结果为int4的情况下，对所述量化权重解压缩成int8的数据类型，再对所述量化输入数据与解压缩后的量化权重进行八比特整数矩阵乘法，并将相乘结果与所述目标量化参考参数做乘积运算，得到当前量化层输出数据； 在确定所述量化输入数据的量化结果为fp16且所述量化权重的量化结果为int4的情况下，对所述量化权重解压缩成int8的数据类型，在对解压缩后的量化权重与所述目标量化参考参数做乘积运算，再对所述量化输入数据与乘积运算后的量化权重进行矩阵相乘，并将矩阵相乘结果作为当前量化层输出数据； 将所述当前量化层输出数据或所述当前量化层输出数据的量化结果作为下一量化层的量化输入数据，并输出到下一量化层中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海燧原智能科技有限公司，其通讯地址为：201306 上海市浦东新区中国(上海)自由贸易试验区临港新片区业盛路188号A-522室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。