浙江大学田翔获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种基于辅助实例集成的分类网络知识蒸馏方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116911375B 。
龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310742713.4,技术领域涉及:G06N3/096;该发明授权一种基于辅助实例集成的分类网络知识蒸馏方法是由田翔;叶欣;蒋荣欣;陈耀武设计研发完成,并于2023-06-21向国家知识产权局提交的专利申请。
本一种基于辅助实例集成的分类网络知识蒸馏方法在说明书摘要公布了:本发明公开了一种基于辅助实例集成的分类网络知识蒸馏方法,包括以下步骤:利用深度学习框架搭建部署实例;利用多阶段分支法构建多阶段实例群;基于多阶段实例群构建多对一的网络蒸馏损失函数;对多阶段实例群进行模型训练和优化,在训练结束后,固定并保存为多阶段实例群网络模型及网络模型参数;对优化后的多阶段实例群网络模型进行部署,优化裁剪网络模型参数,得到图像分类模型,图像分类模型的输出即为图像类别预测结果。本发明方法能够有效提高蒸馏后部署实例的性能,减少训练部署的时间及硬件需求,适用于多种时空受限或对精度要求更高的分类任务应用场景。
本发明授权一种基于辅助实例集成的分类网络知识蒸馏方法在权利要求书中公布了:1.一种基于辅助实例集成的分类网络知识蒸馏方法,其特征在于,包括以下步骤: 利用深度学习框架搭建部署实例,所述部署实例为含有多阶段串行网络结构的残差神经网络; 利用多阶段分支法构建多阶段实例群,所述多阶段实例群包括基于部署实例串行结构解构得到的多个级联子实例,以及基于各子实例之间的分支点扩展得到的浅宽辅助分支,将子实例与浅宽辅助分支组合形成仅训练期出现的辅助实例;所述浅宽辅助分支的结构包括依次连接的局部平均池化层AP1、瓶颈块BNB1、局部平均池化层AP2、瓶颈块BNB2、局部平均池化层AP2、瓶颈块BNB3、全局平均池化层GAP以及一个全连接层FC;每个瓶颈块包含两条支路,其中,一条支路包括卷积层CONV0、批归一化层BN0,另一条支路依次包括卷积层CONV1、批归一化层BN1、激活层ReLU1、卷积层CONV2、批归一化层BN2,激活层ReLU2、卷积层CONV3、批归一化层BN3,最后由一个融合层ADD合并两条支路的信息,并后接激活层ReLU3; 基于多阶段实例群构建多对一的网络蒸馏损失函数,所述多对一的网络蒸馏损失函数包括部署实例图像类别预测值与标签真值的交叉熵损失、辅助实例图像类别预测值与标签真值的交叉熵损失和辅助实例集成的图像类别预测值与部署实例图像类别预测值的KL散度; 对多阶段实例群进行模型训练和优化,在训练数据集上,基于多对一的网络蒸馏损失函数利用梯度下降算法优化参数,在训练结束后,固定并保存为多阶段实例群网络模型及网络模型参数; 对优化后的多阶段实例群网络模型进行部署,优化裁剪网络模型参数,得到图像分类模型,图像分类模型的输出即为图像类别预测结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励