Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 中国科学院计算技术研究所张蕊获国家专利权

中国科学院计算技术研究所张蕊获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉中国科学院计算技术研究所申请的专利一种基于联合优化的深度神经网络自适应量化方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117151185B

龙图腾网通过国家知识产权局官网在2026-01-20发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310943969.1,技术领域涉及:G06N3/08;该发明授权一种基于联合优化的深度神经网络自适应量化方法及系统是由张蕊;刘畅;张曦珊;支天设计研发完成,并于2023-07-28向国家知识产权局提交的专利申请。

一种基于联合优化的深度神经网络自适应量化方法及系统在说明书摘要公布了:本发明提出一种基于联合优化的深度神经网络自适应量化方法和系统,包括:将划分参数与神经网络参数联合优化,以使深度神经网络的数据划分和神经网络参数训练共同进行。保存训练完成后的划分参数,使用划分参数对执行模型的激活或权重进行量化,得到最终模型,以该最终模型执行相应任务。本发明可以更好地拟合深度神经网络激活和权重的数据分布,将深度神经网络中所有线性层的激活值和权重量化为低比特,从而减少量化误差,且本发明在模型的使用阶段,可以减少模型使用的计算量,加快图像分类的预测速度,减少分类产生的能耗,并减少模型存储所使用的空间大小。

本发明授权一种基于联合优化的深度神经网络自适应量化方法及系统在权利要求书中公布了:1.一种基于联合优化的深度神经网络自适应量化方法,其特征在于,包括: 步骤1、获取待训练深度神经网络模型作为目标模型,统计该目标模型所有线性层中激 活或权重的最大绝对值;根据该最大绝对值,初始化每个线性层的激活或权重设置的分 段划分参数; 步骤2、当该目标模型第次训练迭代时,第线性层的激活或权重的分段划分参数值为;以将第线性层的激活或权重划分为两个部分,将区域作为中心段,两 边的区域和作为周围段;将该目标模型中激活或权重量化为低精度,且 在该量化的过程中位于该中心段的激活或权重的量化间隔小于该周围段的激活或权重的 量化间隔; 步骤3、在该目标模型第次训练迭代的前向传播过程中,同时计算激活或权重的全精 度前向传播结果和量化后的低精度前向传播结果;根据该全精度前向传播结果和该低精度 前向传播结果,得到该目标模型每层的量化误差,将该目标模型每层的量化误差求和,乘以 预设系数后与该目标模型训练结果的损失函数相加,得到最终损失函数; 步骤4、判断该最终损失函数是否小于预设值或达到预设迭代次数,若是则保存当前 该目标模型作为执行模型,并保存当前分段划分参数,使用当前分段划分参数对该 执行模型的激活或权重进行量化,得到最终模型,以该最终模型执行相应任务;否则t自加 1,再次执行该步骤2; 其中该目标模型为图像分类深度神经网络模型,将待分类的目标图片输入该最终模型,该最终模型执行图片分类任务得到该目标图片的所属类别; 位于该中心段的激活或权重的量化间隔为: 位于该周围段的激活或权重的量化间隔为:

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学院计算技术研究所,其通讯地址为:100080 北京市海淀区中关村科学院南路6号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。