福建亿榕信息技术有限公司;国网信息通信产业集团有限公司常胜获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉福建亿榕信息技术有限公司;国网信息通信产业集团有限公司申请的专利一种目标检测模型动态蒸馏训练方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117636038B 。
龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311649881.5,技术领域涉及:G06V10/764;该发明授权一种目标检测模型动态蒸馏训练方法及装置是由常胜;胡杰;李强;庄莉;梁懿;王秋琳;陈锴设计研发完成,并于2023-12-01向国家知识产权局提交的专利申请。
本一种目标检测模型动态蒸馏训练方法及装置在说明书摘要公布了:本申请涉及一种目标检测模型动态蒸馏训练方法及装置,涉及深度学习模型优化技术领域,该方法包括以下步骤:利用学生模型及教师模型,对训练图片进行推理,获得各自的预测输出数据;基于学生模型的预测输出数据及训练图片的图片标签,获得学生模型的常规损失函数;筛选获得教师模型的高质量预测输出数据;计算教师模型的高质量预测输出数据和学生模型的预测输出数据之间的蒸馏损失函数;基于蒸馏损失函数及常规损失函数,获得学生模型的总损失函数,并以此训练学生模型。本申请基于大模型高质量的输出动态蒸馏小模型的技术原理,进行模型训练,在检测精度与推理速度之间实现较好的平衡,有效减少工业场景部署目标检测模型所需的人力和训练成本。
本发明授权一种目标检测模型动态蒸馏训练方法及装置在权利要求书中公布了:1.一种目标检测模型动态蒸馏训练方法,其特征在于,所述方法包括以下步骤: 利用选定的学生模型以及完成训练的教师模型,对选定的训练图片进行推理,获得各自对应的预测输出数据; 基于所述学生模型的所述预测输出数据以及所述训练图片的图片标签,获得所述学生模型的常规损失函数; 基于所述教师模型的多个所述预测输出数据,筛选获得高质量预测输出数据; 计算所述教师模型的高质量预测输出数据和所述学生模型的所述预测输出数据之间的蒸馏损失函数; 基于所述蒸馏损失函数以及所述常规损失函数,获得所述学生模型的总损失函数; 基于所述总损失函数,训练所述学生模型; 利用选定的学生模型以及完成训练的教师模型,对选定的训练图片进行推理,获得各自对应的预测输出数据之前,所述方法还包括以下步骤: 在预设的多种目标检测模型,选定所述教师模型以及所述学生模型; 将所述教师模型以及所述学生模型的模型定位分支修改为概率分布形式; 基于预设的数据集,对所述教师模型进行训练; 基于所述教师模型的多个所述预测输出数据,筛选获得高质量预测输出数据,包括以下步骤: 识别所述教师模型的多个所述预测输出数据各自对应的分类输出准确性评分、定位输出准确性评分以及预测框与真实框中心距离; 基于所述分类输出准确性评分、所述定位输出准确性评分以及所述预测框与真实框中心距离,获得多个所述预测输出数据各自对应的预测输出质量评分; 各所述预测输出质量评分的最大值对应的所述预测输出数据,作为所述高质量预测输出数据; 在蒸馏训练过程中,学生模型的总损失函数为: 动态因子随训练时间变化的公式为: 其中,表示当前训练到第个epoch,一个epoch表示模型在数据集上完整训练一遍,表示训练总的epoch数;表示学生模型原本学习图片标签的损失函数,表示学生模型学习教师模型的蒸馏损失函数,为学生模型的总损失。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人福建亿榕信息技术有限公司;国网信息通信产业集团有限公司,其通讯地址为:350000 福建省福州市鼓楼区软件大道89号G区20号楼;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励