北京百度网讯科技有限公司王桂彬获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京百度网讯科技有限公司申请的专利模型压缩方法、装置、电子设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN112529189B 。
龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202011247207.0,技术领域涉及:G06N5/04;该发明授权模型压缩方法、装置、电子设备及存储介质是由王桂彬;董昊设计研发完成,并于2020-11-10向国家知识产权局提交的专利申请。
本模型压缩方法、装置、电子设备及存储介质在说明书摘要公布了:本申请公开了模型压缩方法、装置、电子设备及存储介质,涉及深度学习及语音识别等人工智能领域,其中的方法可包括:当模型推理过程中需要进行单精度浮点的矩阵运算时,对相乘的两个矩阵中的左矩阵按行进行量化,得到第一量化矩阵,对相乘的两个矩阵中的右矩阵按列进行量化,得到第二量化矩阵;将第一量化矩阵和第二量化矩阵相乘,得到作为定点运算结果的第三矩阵;根据第三矩阵进行反量化,得到第四矩阵,将第四矩阵作为矩阵运算的结果。应用本申请所述方案,可提升模型推理速度及具有普遍适用性等。
本发明授权模型压缩方法、装置、电子设备及存储介质在权利要求书中公布了:1.一种模型压缩方法,所述方法应用于语音识别场景,包括: 当模型推理过程中需要进行单精度浮点的矩阵运算时,对相乘的两个矩阵中的左矩阵按行进行量化,得到第一量化矩阵,包括:针对所述左矩阵中的每行元素,分别将其中包括的各元素的取值的绝对值中的最大值作为基准值;针对所述左矩阵中的每个元素,分别计算所述元素的取值与所述元素所在行对应的基准值的商,并计算所述商与2B-1的乘积,B表示预定的位宽,将所述乘积作为所述元素的量化值;对相乘的两个矩阵中的右矩阵按列进行量化,得到第二量化矩阵,包括:针对所述右矩阵中的每列元素,分别将其中包括的各元素的取值的绝对值中的最大值作为基准值;针对所述右矩阵中的每个元素,分别计算所述元素的取值与所述元素所在列对应的基准值的商,并计算所述商与所述2B-1的乘积,将所述乘积作为所述元素的量化值; 将所述第一量化矩阵和所述第二量化矩阵相乘,得到作为定点运算结果的第三矩阵; 根据所述第三矩阵进行反量化,得到第四矩阵,包括:针对所述第四矩阵中的每个元素,分别进行以下处理:计算所述元素在所述第三矩阵中的对应元素的取值、所述元素所在行对应的基准值以及所述元素所在列对应的基准值的乘积,将所述乘积作为所述元素的取值,所述对应元素为处于相同位置的元素;将所述第四矩阵作为所述矩阵运算的结果; 还包括:按照单精度训练方式训练得到单精度模型,作为初始模型,对所述初始模型的模型参数进行量化精调训练,得到最终的模型; 其中,所述左矩阵为权重矩阵;所述对所述初始模型的模型参数进行量化精调训练包括:在每个批次的训练中,针对最新得到的模型参数,分别执行以下第一处理:对所述模型参数中的所述权重矩阵按行进行量化,并对量化结果进行反量化,得到处理后的模型参数;根据所述处理后的模型参数进行前向计算和反向计算,得到模型参数梯度;根据所述模型参数梯度更新所述模型参数,并针对更新后的模型参数,重复执行所述第一处理,直到符合预定结束条件。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京百度网讯科技有限公司,其通讯地址为:100085 北京市海淀区上地十街10号百度大厦2层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。