上海岩芯数智人工智能科技有限公司刘天赐获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海岩芯数智人工智能科技有限公司申请的专利一种深度学习模型参数量化方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120046759B 。
龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510534212.6,技术领域涉及:G06N20/00;该发明授权一种深度学习模型参数量化方法是由刘天赐设计研发完成,并于2025-04-27向国家知识产权局提交的专利申请。
本一种深度学习模型参数量化方法在说明书摘要公布了:本发明提出了一种深度学习模型参数量化方法,以解决现有技术中存在的无法平衡模型的精度和计算效率的问题。通过设置多种搜索级别进行搜索、基于ONNXRuntime的深度学习模型量化框架以及深度学习模型性能指标的评估。该方法不仅简化了传统量化过程,满足了模型精度与模型性能之间的平衡要求。优化效率大幅提高,将搜索时间缩短了约10倍,同时仅导致5%以内的精度损失,证明了其在模型压缩领域的高效性和有效性。
本发明授权一种深度学习模型参数量化方法在权利要求书中公布了:1.一种深度学习模型参数量化方法,其特征在于,具体包括如下步骤: 步骤S1、构建校准测试数据集DATA和深度学习模型M,将DATA分为校准数据data1和测试数据data2,对深度学习模型M进行预训练,形成M1; 步骤S2、将data1、M1和量化配置输入ONNXRuntime量化框架进行量化处理,形成M2; 步骤S3、将M2和data2输入量化模型测试精度评估模块,形成模型配置信息和模型精度; 步骤S4、根据模型配置信息和模型精度,通过配置搜索引擎和量化配置管理器进行处理,形成一个新的量化配置; 步骤S5、根据新的量化配置,对M1执行步骤S2-步骤S3,形成当前模型配置信息和当前模型精度; 步骤S6、根据当前模型配置信息、当前模型精度和当前模型M2的结构,对模型进行评估,形成当前模型的性能指标数据;其中,模型性能指标数据包括模型推理延迟、CPU内存占用和CPU利用率; 步骤S7、重复执行步骤S4-步骤S6,形成多个模型精度和模型性能指标数据; 步骤S8、根据多个模型精度和模型性能指标数据,输出最优的模型配置; 其中,步骤S4中,所述配置搜素引擎,用于量化配置参数数据的搜索,所述量化配置参数数据的搜索,具体包括如下步骤: 步骤S401、获取模型配置信息,根据所述模型配置信息选取搜索级别; 步骤S402、根据所述搜索级别,进行量化配置参数的搜索,形成量化配置参数数据; 其中,步骤S401中,所述搜索级别包括O1、O2和O3三个搜索级别;当所述模型配置参数量小于第一阈值时,所述搜索级别为O1级别,当所述模型配置参数量大于或等于第一阈值且小于第二阈值时,所述搜索级别为O2级别,当所述模型配置参数量大于第二阈值时,所述搜索级别为O3级别。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海岩芯数智人工智能科技有限公司,其通讯地址为:201203 上海市浦东新区博霞路11号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。