Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 重庆邮电大学谢显中获国家专利权

重庆邮电大学谢显中获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉重庆邮电大学申请的专利一种面向FPGA的CNN定制网络量化加速方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117151178B

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311200741.X,技术领域涉及:G06N3/063;该发明授权一种面向FPGA的CNN定制网络量化加速方法是由谢显中;易铃杰设计研发完成,并于2023-09-18向国家知识产权局提交的专利申请。

一种面向FPGA的CNN定制网络量化加速方法在说明书摘要公布了:本发明为一种面向FPGA的CNN定制网络量化加速方法,属于神经网络领域。该方法包括:对轻量级神经网络进行构建与量化感知训练,并在训练的前向传播时利用改进的参数化裁剪激活PACT对激活值进行预处理;然后利用卷积连续执行方法CEOCO对网络进行重训练,重训练完成之后,对网络进行各种融合操作。最后将融合后的网络部署到ARM+FPGA异构芯片XilinxZynqUltrascale+MPSoC3EG上进行量化推理加速;本发明在神经网络精度损失可接收范围内的前提下,加速了神经网络在边缘智慧终端的推理速度;比起现有技术,具有更好的网络量化加速效果。

本发明授权一种面向FPGA的CNN定制网络量化加速方法在权利要求书中公布了:1.一种面向FPGA的CNN定制网络量化加速方法,其特征在于:该方法包括以下步骤: S1:构建神经网络,并训练全精度神经网络模型; S2:引入改进后的PACT方法,并使用感知量化方法对模型进行量化,具体包括:对PACT方法进行分析和改进,将PACT方法对激活值小于0的数值进行改进处理;对神经网络进行量化感知训练,在前向传播时利用量化器对激活值先使用PACT预处理,再进行逐层的对称量化与反量化,对权重值则采用更细粒的逐通道的对称量化与反量化;通过量化和反量化数值来引入量化数值所带来的误差,在进行卷积计算的时候,使用的是反量化的浮点数值,学习量化带来的误差;在进行反向传播时,由于使用了取整函数round-to-nearest,这会导致梯度计算全部为0,利用直通估计器STE来解决这个问题,即直接跳过量化计算公式,将数值传到上一层进行计算; 改进的PACT方法的公式为: 其中,x为输入激活值,y为利用PACT函数截断后的值,α与β为两个可训练的参数,设置α的初始值为20,设置β的初始值为3,在神经网络量化训练时,通过改变α与β的值将激活值进行截断操作,去除异常值从而使得待映射数值紧凑; 对权重采用逐通道对称量化的公式为: 其中,Wi为卷积层的第i个卷积核的权重,为通过Q·量化和反量化后的权重值,为该权重的缩放因子,由于是对称量化到8bit,所以偏置z恒等于0,且使用截断函数clamp将量化后的数值截断到-127,127,round为round-to-nearst函数,即取整函数,abs和max分别为张量取绝对值和最大值; 对特征图激活值采用逐层对称量化的公式为: 其中,X为输入的浮点激活值,为量化和反量化后的值;不同的是,对激活值的缩放因子的计算公式,通过移动平均绝对最大值的采样策略采样数值MSE计算缩放因子: moving_avg_max=moving_avg_max*β+maxabsX*1-β 其中moving_avg_max为平均值的绝对最大值,β为moving_avg_max的动量,初始值为0.9,β会根据训练从而改变,采用移动平均绝对值最大值的采样策略,减少模型对噪声和冗余信息的敏感度,提高模型的泛化能力; S3:根据网络模型结构的不同,采用卷积连续执行方法CEOCO将特定的非卷积算子进行量化,得到量化模型后进行融合操作; S4:部署轻量级CNNs到目标硬件FPGA上推理加速验证。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人重庆邮电大学,其通讯地址为:400065 重庆市南岸区黄桷垭崇文路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。