东南大学李传佑获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉东南大学申请的专利一种基于剪枝技术的高效神经网络搜索与训练方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115688908B 。
龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211192735.X,技术领域涉及:G06N3/082;该发明授权一种基于剪枝技术的高效神经网络搜索与训练方法是由李传佑;李一帆;胡浣云设计研发完成,并于2022-09-28向国家知识产权局提交的专利申请。
本一种基于剪枝技术的高效神经网络搜索与训练方法在说明书摘要公布了:本发明公开了一种兼顾检测效率和精度的面向合成孔径雷达图像舰船目标检测任务的可微神经网络搜索与训练方法。该方法在SAR图像数据集上进行可微神经网络架构搜索,即在预设的包含有多种不同卷积和池化操作的搜索空间上,利用可微架构搜索对超级网络进行优化,以得到满足目标任务约束的神经网络模型,并对模型进行完备训练。通过改造可微架构搜索,不仅在可微架构搜索过程中集成了通道剪枝技术和模型剪枝技术,还创建新的混合损失函数,将交叉熵损失和模型计算量结合起来。本发明在舰船目标的目标检测任务上能自动化生成轻量级神经网络模型,在模型效率和检测精度上同时具有优异表现。
本发明授权一种基于剪枝技术的高效神经网络搜索与训练方法在权利要求书中公布了:1.一种基于剪枝技术的高效神经网络搜索与训练方法,其特征在于:所述方法包括以下步骤: 步骤1:通过可微架构搜索在包含模型理论计算量的损失函数指导下对超级网络进行优化更新,确定最佳的神经网络单元结构,具体如下,在超网构建完成之后,在SAR图像数据集上进行优化更新, 在超网构建完成之后,在SAR图像数据集上进行优化更新,超网训练过程中采用带动量的批量随机梯度下降优化方法,学习率根据训练轮次进行衰减,初始为1,以余弦退火算法进行衰减,预设超网训练50轮次即完成一次完整的超网训练,在每轮的超网训练过程中,每一批次的输入图片在通过超网计算后,得到一个张量作为分类依据,该张量将与该批次的输入图片的标签文件进行比对,根据计算精度的交叉熵损失,同时也根据当前的超网边权重和操作权重统计得到当前超网的理论计算量加权和,将以上两部分结果进行加权和得到混合损失并反向传播该混合损失以更新所有的权重参数, 步骤2:在搜索过程中利用通道剪枝技术探索最佳的通道屏蔽参数以及利用模型剪枝技术探索最佳的神经网络模型单元堆叠数目; 步骤2实现过程如下:在超网更新的过程中,引入了剪枝技术来探索通道屏蔽参数K和神经网络模型堆叠单元数L: 1通道剪枝 在超网的优化过程中,设定了一个初始的通道屏蔽参数K,这个参数作用为当特征图通过某个待选操作时,其原始的通道数将会缩小为原数量的1K,初始时K为1,此时超网中所有的待选操作都是全通道计算,而随着超网的优化,其在训练集上的检测精度F1会逐渐上升,并在一定轮数超过其在验证集上的F1,此时认为超网发生了过拟合问题,即认为神经网络模型规模在目标任务上过于复杂,当超网在训练集上的F1与验证集上的F1的差值超过设定的阈值时,触发通道剪枝机制,将K翻倍,代表超网的候选操作参与计算的通道数将减半,在通道数减半后,超网继续从当前模型状态下进行优化,直到下一次过拟合的发生, 2模型剪枝 在通道剪枝完成之后,即K达到预设的最大阈值时,通过缩减超网的堆叠层数来进一步缩减模型的规模, 步骤2中,通过设置通道屏蔽参数K并在架构搜索过程中自动探索确定: 各符号解释如下: o表示待选操作的类型, O表示候选操作的集合, 表示候选操作o的权重, 表示参与神经网络模型计算的输入数据, 表示不参与计算的输入数据, xi表示完整的输入数据, Si,j表示一个通道掩码矩阵,由0,1组成,其大小维度对应于输入数据xi,利用K来确定Si,j中1K的部分为1,其他部分为0, 步骤3:在神经架构搜索过程完成之后,即神经网络单元结构已确定,且对模型单元堆叠数目与通道屏蔽参数已明确,则根据当前状态的超网进行派生子网; 步骤4:根据派生出来的神经网络架构、通道屏蔽参数和神经网络模型单元堆叠数,构建完整神经网络模型,并训练以用于舰船目标检测。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人东南大学,其通讯地址为:210096 江苏省南京市玄武区四牌楼2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励