华侨大学张维纬获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉华侨大学申请的专利基于强化学习的自动化卷积神经网络量化剪枝方法、设备和存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115600650B 。
龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211363959.2,技术领域涉及:G06N3/0464;该发明授权基于强化学习的自动化卷积神经网络量化剪枝方法、设备和存储介质是由张维纬;纪铭;余浩然设计研发完成,并于2022-11-02向国家知识产权局提交的专利申请。
本基于强化学习的自动化卷积神经网络量化剪枝方法、设备和存储介质在说明书摘要公布了:本发明基于强化学习的自动化卷积神经网络量化剪枝方法,先获取图像的数据集,利用已初始化的模型对图像进行预训练,得到每个滤波器所输出特征图的平均秩,将平均秩结合滤波器的全局重要性排序,获得滤波器重要性信息;通过强化学习实现自动化神经网络模型量化与剪枝操作,获得模型精度最高的神经网络模型压缩策略,获取最终的剪枝完成以后的神经网络模型。本发明将卷积层中滤波器按照对模型精度影响的重要程度并结合平均秩大小进行全局排序,秩的大小与滤波器重要性大小具有一致性,同时对重要性高的滤波器权重参数分配较高bit位数,从而达到最大程度的精度保留,能将应用于高性能计算机上的神经网络压缩后部署于计算与存储较弱的移动边缘设备上。
本发明授权基于强化学习的自动化卷积神经网络量化剪枝方法、设备和存储介质在权利要求书中公布了:1.基于强化学习的自动化卷积神经网络量化剪枝方法,其特征在于包括如下步骤; 步骤S10、获取图像的数据集,并将数据集按比例分为训练集与验证集; 步骤S20、获取待量化剪枝的卷积神经网络模型并执行初始化,利用已初始化的模型对训练集中的图像进行60轮预训练,得到每个滤波器所输出特征图的平均秩,对当前模型的卷积层中每个滤波器输出特征图的平均秩结合滤波器的全局重要性排序,获得滤波器重要性信息; 步骤S30、通过强化学习实现自动化神经网络模型量化与剪枝操作,获得模型精度最高的神经网络模型压缩策略,所述强化学习代理为演员-评论家网络,演员网络由演员网络A和B组成,评论家网络负责评估模型压缩策略,演员网络和评论家网络的参数更新方法为DDPG深度确定性策略强化学习方法;具体为: 步骤S31、获取超参数中设置的目标量化率和剪枝率,并根据目标剪枝率确定需要剪枝的滤波器数量,根据量化率来衡量保留的滤波器参数的bit位数; 步骤S32、根据强化学习的确定性策略,若当前层在敏感层索引中,则将强化学习的确定性输出的当前层量化位数设置为8位,压缩率设置为0.1,获取模型当前层应当执行剪枝操作的滤波器数量,同时计算获得剩下待剪枝的滤波器数量; 步骤S33、通过计算滤波器的平均秩结合滤波器的全局重要性,由低到高对该层中的滤波器进行排序;所述滤波器的全局重要性估算公式: 其中,表示第i个滤波器的层索引,表示L2范数,代表第i个滤波器的权重,为可训练的变量,L表示层的总数; ,表示第层秩的缩放因子,表示第层的平均秩,表示该神经网络中所有卷积层平均秩的最小值,表示该神经网络中所有卷积层平均秩的最大值; 步骤S34、根据上述步骤S31获得的各卷积层所需剪枝的滤波器数量,演员网络A根据判别当前卷积层是否为敏感层,以及该卷积层的滤波器的重要程度,做出不同的滤波器剪枝策略,将剪枝的滤波器权重设置为0;演员网络B根据滤波器的重要性的不同来分配不同的位宽,敏感层滤波器分配较高的位宽,将演员网络A和B的策略汇总到演员网络; 步骤S35、重复执行步骤S32-步骤S34,直至完成对模型所有层的量化剪枝操作,即完成完整一轮的量化剪枝操作,通过验证集验证完成这一轮量化剪枝操作的模型精度,并将当前模型压缩策略与精度保存到强化学习经验回放池中; 步骤S36、重复执行步骤S32-步骤S35,完成所有轮次的模型量化剪枝操作,获取精度最高的神经网络模型压缩策略; 步骤S40、对量化剪枝完成以后的神经网络模型执行微调操作,获取最终的剪枝完成以后的神经网络模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华侨大学,其通讯地址为:362000 福建省泉州市城华北路269号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励