哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院);深圳市道通智能航空技术股份有限公司;智洋创新科技股份有限公司吴建龙获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院);深圳市道通智能航空技术股份有限公司;智洋创新科技股份有限公司申请的专利一种基于极坐标体系的大模型量化压缩方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120046664B 。
龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510510093.0,技术领域涉及:G06N3/0495;该发明授权一种基于极坐标体系的大模型量化压缩方法及系统是由吴建龙;岳宇轩;聂礼强;汪康利;胡志坤;张万征;张淼;万佳设计研发完成,并于2025-04-23向国家知识产权局提交的专利申请。
本一种基于极坐标体系的大模型量化压缩方法及系统在说明书摘要公布了:本发明属于人工智能技术领域,为解决现有的大语言模型量化方法无法同时保障大模型的低成本硬件部署和推理效率的问题,提供一种基于极坐标体系的大模型量化压缩方法及系统。其中,基于极坐标体系的大模型量化压缩方法包括从第一存储单元中调取预存的大语言模型的原始权重参数分布,并将其处理成标准高斯分布,得到相应符合标准高斯分布的权重矢量,再转化为对应极坐标表征;分别构建各个所述极坐标表征的方向码本和模长码本,得到符合分布特征和量化敏感度特性的矢量码本并传输至第二存储单元进行存储。其能够同时保障大模型的低成本硬件部署和推理效率。
本发明授权一种基于极坐标体系的大模型量化压缩方法及系统在权利要求书中公布了:1.一种基于极坐标体系的大模型量化压缩方法,其特征在于,包括: 从第一存储单元中调取预存的大语言模型的原始权重参数分布,并将其处理成标准高斯分布,得到相应符合标准高斯分布的权重矢量; 将各个所述符合标准高斯分布的权重矢量转化为对应极坐标表征; 分别构建各个所述极坐标表征的方向码本和模长码本,得到符合分布特征和量化敏感度特性的矢量码本并传输至第二存储单元进行存储; 其中,所述矢量码本在第二存储单元中的存储格式为方向索引、模长索引和元素值;方向索引及模长索引通过拼接形成最终索引,以大语言模型的原始权重参数为单位对最终索引进行整合,形成量化后的模型权重矩阵;所述量化后的模型权重矩阵用于提供给计算单元,以在计算单元上运行所述大语言模型; 其中,构建各个所述极坐标表征的方向码本的过程,包括: 选取E8晶格在给定模长下的矢量方向作为基类; 根据方向的量化比特数从基类中用贪心算法选取规定数量的子集,即得到方向码本; 构建各个所述极坐标表征的模长码本的过程,包括: 根据符合标准高斯分布的权重矢量符合卡方分布的根分布,得到模长的分布,进而计算出模长的概率密度函数; 根据模长的概率密度函数,采用Llyod-MAX算法对模长进行量化,构成模长码本; 采用Llyod-MAX算法对模长进行量化的过程为: 选择初始量化格点和量化边界; 根据初始量化格点和量化边界,依次计算质心及边界; 判断Llyod-MAX算法是否收敛,若相邻两次迭代的量化失真变化小于预设阈值或者达到预设的迭代次数,则停止迭代;否则,继续依次计算质心及边界的迭代计算,直至Llyod-MAX算法收敛,最终得到量化的码本格点。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院);深圳市道通智能航空技术股份有限公司;智洋创新科技股份有限公司,其通讯地址为:518055 广东省深圳市南山区桃源街道深圳大学城哈尔滨工业大学校区;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。