南京大学王利民获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京大学申请的专利基于知识蒸馏的渐进式跟踪模型压缩方法、设备及介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116343006B 。
龙图腾网通过国家知识产权局官网在2025-12-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310269544.7,技术领域涉及:G06V10/82;该发明授权基于知识蒸馏的渐进式跟踪模型压缩方法、设备及介质是由王利民;崔玉涛;宋田惠;武港山设计研发完成,并于2023-03-20向国家知识产权局提交的专利申请。
本基于知识蒸馏的渐进式跟踪模型压缩方法、设备及介质在说明书摘要公布了:基于知识蒸馏的渐进式跟踪模型压缩方法、设备及介质,通过知识蒸馏方式,以教师模型‑助教模型‑学生模型多级蒸馏,并在蒸馏中通过动态的衰退系数来逐渐削弱直至撤除需要撤去的层,实现渐进式压缩单流跟踪模型,得到轻量化的跟踪器FOST,所述单流跟踪模型基于Transformer,对于输入的模板和搜索图片同时进行特征提取和信息融合。本发明通过渐进式的撤去层数和助教网络,克服了Transformer模型深度压缩过程中的特征不匹配和不连续问题,有效地传递教师模型信息,本发明提出的跟踪器也因此能够同时须有高精度和高速度,并首次使单流跟踪器能够在CPU上部署。
本发明授权基于知识蒸馏的渐进式跟踪模型压缩方法、设备及介质在权利要求书中公布了:1.基于知识蒸馏的渐进式跟踪模型压缩方法,其特征是通过知识蒸馏方式,以教师模型-助教模型-学生模型进行递归蒸馏,并在蒸馏中通过动态的衰退系数来逐渐削弱直至撤除需要撤去的层,实现渐进式压缩单流跟踪模型,得到轻量化的跟踪器FOST,所述单流跟踪模型基于Transformer,对于输入的模板和搜索图片同时进行特征提取和信息融合,压缩方法包括数据准备阶段、网络配置阶段、离线训练阶段以及在线跟踪阶段: 1数据准备阶段,由离线训练数据集生成训练样例,对离线训练数据集中的每个视频的每一帧图像裁剪出目标搜索区域,从每个视频帧序列的前半部分抽取两帧作为模板帧,从每个视频帧序列的后半部分抽取一帧作为测试帧,对测试帧标注目标框作为验证帧,以目标框对角点坐标作为离线训练过程中的真实标签; 2网络配置阶段,配置基于Tansformer的单流跟踪模型,得到用于知识蒸馏的初始师生模型,其中模板帧和测试帧同时输入模型,模型的骨干网络每层提取融合模板帧和测试帧的特征信息,全卷积网络定位头输出定位框角点的概率分布和最终跟踪结果框; 2.1确定初始师生模型网络结构,初始化学生模型为和教师模型完全相同的副本,确定即将删除的层数集合和需要师生对应监督的层数集合,给定帧模板训练样本和一个测试帧,通过MixViT的骨干网络提取依赖于跟踪模板的测试帧特征,对于在监督集合中的层数,师生模型在该层的特征输出进行蒸馏监督; 2.2定位头模块包括5个卷积层,输入为骨干网络最后一层特征输出,输出通道数2,分别得到目标对角点的二维概率分布,对于蒸馏监督,对师生输出的概率分布采用KL散度损失,最终跟踪结果通过计算对角点分布的期望得到; 3离线训练阶段,构建教师模型-助教模型-学生模型的递归蒸馏模式,采用分治法的思想,先使用教师模型蒸馏出助教模型,即使用初始师生模型进行知识蒸馏,再递归地使用助教模型蒸馏出其对应的学生模型,直至所得学生模型的规模满足轻量化需求,两两模型之间构成师生模型,蒸馏过程如下: 由步骤1的训练样例对师生模型进行蒸馏训练,设置撤去层数和监督层数,对于真实标签的训练,采用L1损失函数和CIoU损失函数监督;对于蒸馏软标签的训练,特征蒸馏部分监督师生模型的层特征输出,对需要监督的师生模型对应层所输出的特征使用L2损失函数监督;定位蒸馏部分监督师生包围框输出的概率分布,对师生模型输出的对于目标包围框角点的二维概率分布图,使用KL散度损失函数监督;对于蒸馏中需要撤去的层,在其参数上乘以一个衰退参数,衰退参数以余弦函数的方式递减,以此逐渐使该层削弱输出贡献直至撤除;使用AdamW优化器,通过反向传播算法来更新学生网络参数,不断重复直至网络收敛;最终得到的学生模型即为压缩后的轻量化跟踪器FOST; 4在线跟踪阶段,跟踪器FOST对待跟踪视频,首先裁剪出第一帧图像中的目标框搜索区域作为模板,将待跟踪视频中待跟踪的帧作为测试帧,将和同时输入训练得到的跟踪器FOST,得到上的目标框;在跟踪过程中,从已经跟踪完的帧序列中每N帧挑选出一个置信度最高的帧和已经跟踪得到的目标框作为标签添加到模板中用于在线跟踪。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京大学,其通讯地址为:210023 江苏省南京市栖霞区仙林大道163号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励