Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 南京工业大学王健获国家专利权

南京工业大学王健获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉南京工业大学申请的专利一种基于剪枝的轻量化网络结构的图像分类方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117197524B

龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310824519.0,技术领域涉及:G06V10/764;该发明授权一种基于剪枝的轻量化网络结构的图像分类方法是由王健;肖迪;于欣虎;沈成设计研发完成,并于2023-07-06向国家知识产权局提交的专利申请。

一种基于剪枝的轻量化网络结构的图像分类方法在说明书摘要公布了:本发明公开了一种基于剪枝的轻量化网络结构的图像分类方法,该方法令每个滤波器的稀疏值与BN层缩放系数相结合,从而对整体通道的重要性即权重W进行判别。首先﹐利用稀疏性公式和BN层缩放系数得到滤波器的重要性函数,利用重要性函数作为判定依据,删除冗余滤波器,然后使用L1正则化对模型进行稀疏训练,完成对网络模型的改进。本发明完成了对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,为深度学习在边缘端设备平台上的实现奠定了基础。

本发明授权一种基于剪枝的轻量化网络结构的图像分类方法在权利要求书中公布了:1.一种基于剪枝的轻量化网络结构的图像分类方法,其特征在于:包括以下步骤: 步骤一:加载预训练好的基于MobileNetV3的用于图像分类的模型; 步骤二:利用滤波器稀疏性公式和BN层缩放系数,计算出每个卷积层中包含的滤波器的重要性指数;以每个卷积层为单位,对该卷积层中的包含的滤波器基于滤波器的重要性指数进行修剪,删除该卷积层中低于预设的重要性指数的滤波器;对模型中的每个卷积层实现修剪从而得到剪枝后的整体模型; 步骤三:采用L1正则化对剪枝后的整体模型网络进行稀疏训练生成轻量化模型; 步骤四:对轻量化模型的权重进行更新,即得到轻量化网络结构的图像分类模型; 步骤二具体包括: S21:利用稀疏性公式计算深度卷积神经网络的每个滤波器稀疏值,其中稀疏性公式为: ; 1; 上式中,表示第l层卷积层中第n个滤波器的稀疏值;为卷积核的权重;n,c,h,w分别为该卷积核的4维张量,n,c,h,w为正整数且[1,W],N为对应卷积层的输出滤波器的数量,C为对应卷积层输入滤波器层数,H为对应卷积核的高度;W代表对应卷积核的宽度;表示滤波器在第l层对应位置nchw的激活值的标准差; 其中表示第l层卷积核权重平均值,根据下式计算 2; S22:基于BN层的缩放系数γ以及滤波器的重要性判定函数,计算滤波器的重要性指数;所述BN层置于卷积层的后一层,对卷积层的输出进行归一化处理; 其中滤波器的重要性判定函数为: 3; 上式中,为第i个滤波器的重要性评分,能够衡量滤波器在网络中的重要性或贡献度;为基于公式1计算的第i个滤波器的稀疏值;表示对所有滤波器的γ值进行求和,并对每个γ值进行平方;γ是BatchNormalizationBN层的参数,表示对应滤波器的缩放系数; S23:根据滤波器重要性指数对第l层卷积层进行修剪;将低于预设重要性指数对应的滤波器及对应的BN层进行剪除,得到剩下的滤波器E′及其BN层,此时BN层的缩放系数为′; S24:剩下的m个滤波器E′的重要性集合,根据预设的剪枝率得到滤波器剪枝的阈值: 4; 为将网络中所有剩下的滤波器E′的重要性按照升序进行排序,获取剪枝率对应的索引位置滤波器的重要性指数作为滤波器剪枝的阈值;得到阈值后将卷积层中所有重要性低于阈值的滤波器从卷积层中剪去; S25:继续步骤S21-S24,直至所有卷积层的均实现剪枝; 所述步骤三通过加入稀疏性约束,减少网络的参数量,使模型轻量化;具体包括: S31:定义带有L1正则化项的损失函数来进行稀疏训练; 采用的损失函数为交叉熵损失函数,并在其后面添加L1正则化项;具体为: 5; 式中:为交叉熵损失函数;对于BN层特征缩放系数γ,,的作用是对BN层中的特征缩放系数进行正则化;β为超参数,用于控制全连接层或卷积层中的权重系数的正则化项的权重大小,β越大惩罚的参数越多,β越大,则正则化项的影响就越大,BN层中的参数也会越接近0; S32:采用近端梯度优化方法APG进行稀疏化训练;选择正则化参数λ来控制正则化项对总损失的影响程度;具体包括以下步骤: S321:定义目标函数为:6; 上式中,x1为稀疏系数向量,A是基向量矩阵,b是观测向量,λ是正则化参数; S322:求解梯度:对目标函数求偏导,得到: = = 7; 其中,是数据拟合项的梯度是的L1范数的导数,也就是sign函数; S323:采用subgradient的方法求解稀疏项的subgradient:即 稀疏项的subgradient为 8; S324:求解数据拟合项的梯度:数据拟合项的梯度为: S325:进行迭代优化;采用梯度下降法方法求解目标函数的最小值,通过迭代更新参数x11来逐步逼近最小值其中,每一次迭代的更新公式为: 9; 其中,表示第k+1次迭代后的参数向量,表示第k次迭代的参数向量;η是学习率,采用试错法选择合适的值;shrink函数是软阈值函数,用下式用来实现稀疏化; 10; 上式中,y是待处理的实数或向量,α是阈值; S326:更新正则化参数λ;具体包括: S3261:计算当前稀疏系数向量的L1范数,也就是稀疏系数向量中所有元素的绝对值之和; S3262:根据当前L1范数和一个预先定义的参数c来估计新的λ值,其公式如下: 11; 其中,是当前稀疏系数向量的L1范数; S3263:重复上述S3262,直到λ的变化量小于预设的阈值或达到预设的最大迭代次数为止。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京工业大学,其通讯地址为:211816 江苏省南京市浦口区浦珠南路30号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。