安徽大学;安徽友坤玻璃有限责任公司朱明获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉安徽大学;安徽友坤玻璃有限责任公司申请的专利一种基于半监督和特征融合的小目标检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115731600B 。
龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211556338.6,技术领域涉及:G06V40/16;该发明授权一种基于半监督和特征融合的小目标检测方法是由朱明;顾飞杨;蔺智挺;赵海平;邬全法;王年;唐俊设计研发完成,并于2022-12-06向国家知识产权局提交的专利申请。
本一种基于半监督和特征融合的小目标检测方法在说明书摘要公布了:本发明公开了一种基于半监督和特征融合的小目标检测方法,其步骤包括:1、构建目标检测模型的深度学习网络框架;2、原始图像数据集和半监督数据集的准备;3、构建半监督学习下的伪标签框架;4、加入新型特征融合模块RE_BiFPN;5、网络的训练并得到新型检测模型。本发明能通过卷积神经网络提取出的特征经过特征金字塔得到更丰富、更精确的图像特征,并根据高层和低层特征融合得到更加丰富的语义信息,从而能以较高的准确率检测出小目标人脸。
本发明授权一种基于半监督和特征融合的小目标检测方法在权利要求书中公布了:1.一种基于半监督和特征融合的小目标检测方法,其特征是按照以下步骤进行: 步骤1:构建人脸图像数据集并进行预处理; 步骤1.1:获取带标签的真实人脸图像数据集并进行尺寸归一化和预处理后,得到维度为M×M×C的预处理后的人脸图像数据集记为X={x1,x2,...,xi,...,xn},其中,xi表示第i张人脸图像,令人脸图像数据集X的标签集合为T={t1,t2,...,ti,...tn},其中,ti表示第i张人脸图像xi对应的标签,i=1,2,...,n,n为带标签的人脸图像数据集中的图像总数;M表示图像处理后的长和宽,C表示通道数; 步骤1.2:获取无标签的人脸图像数据集并进行尺寸归一化和预处理后,得到维度为M×M×C的预处理后的人脸图像数据集记为Y={y1,y2,...,yj,...ym},其中,yj表示无标签的第j张人脸图像,j=1,2,...,m,m为无标签的人脸图像数据集中的图像总数; 步骤2:构建半监督学习下的目标检测网络,包括:主干网络、特征金字塔FPN、SSH模块、Head模块、预测模块; 步骤2.1:构建主干网络并进行三阶段特征提取; 所述主干网络中包含三阶段的可分离卷积conv_dw模块;每个可分离卷积conv_dw模块中的卷积层的卷积核尺寸为a×a,步长为k; 将带标签的第i张人脸图像xi及其对应的标签ti进行编码后,得到维度为M×M×C的输入特征Si,Si经过第一阶段的可分离卷积conv_dw模块的处理后得到维度大小为Mp×Mp×C×p的第一阶段的网络特征Sip,Sip再经过第二阶段的可分离卷积conv_dw模块的处理后得到维度大小为Mq×Mq×C×q的第二阶段的网络特征Si_q,最后Si_q经过第三阶段的可分离卷积conv_dw模块的处理后得到维度大小为Mr×Mr×C×r的第三阶段的网络特则Si_r,其中,p表示第一阶段的特征压缩比例,q表示第二阶段的特征压缩比例,r表示第三阶段的特征压缩比例; 步骤2.2:构建特征金字塔FPN并进行图像特征提取; 所述特征金字塔FPN利用维度为b×b的卷积对和的通道数进行调整后,再对调整后的三个特征分别进行上采样操作,相应得到第一上采样特征第二上采样特征和第三上采样特征将和融合后得到第一融合特征Si_qr,将和融合后得到第二融合特征Si_pq; 步骤2.3:通过SSH模块加强特征提取; 所述SSH模块将特征Si_pq、Si_qr和进行拼接操作后得到拼接特征Si_pqr; 所述SSH模块利用三个卷积核尺寸分别为d×d、e×e和f×f的并行卷积对所述拼接特征Si_pqr进行处理,相应得到第一阶段加强特征Si_pout、第二阶段加强特征Si_qout和第三阶段加强特征Si_rout; 步骤2.4:构建Head模块并对分类、预测框和关键点的特征进行提取; 所述Head模块将Si_pout、Si_qout和Si_rout组合成预测特征Si_new,再将Si_new分别进行三种维度的张量重构操作,从而形成通道数为U的人脸类别特征Si_class,通道数为V的人脸框特征Si_box和通道数为W的人脸关键点特征Si_lands; 步骤2.5:建立损失函数; 利用式1构建目标检测网络对第i张人脸图像xi的总损失函数Li; Li=wi_class×Li_class+wi_box×Li_box+wi_lands×Li_lands1 式1中,Li_class表示第i张人脸图像xi的人脸类别的平均绝对和均方误差损失,Li_box表示第i张人脸图像xi的人脸框的平均绝对和均方误差损失,Li_lands表示第i张人脸图像xi的人脸关键点的平均绝对和均方误差损失,wi_class表示第i张人脸图像xi的人脸类别损失权重,wi_box表示第i张人脸图像xi的人脸框损失权重,wi_lands表示第i张人脸图像xi的人脸关键点的损失权重; 步骤2.6:预测模块的修正与解码; 所述预测模块将Si_class,Si_box和Si_lands拼接后得到通道数为U+V+W的最终预测特征Si_out,再对Si_out进行解码后得到第i张人脸图像xi中包含人脸框和人脸关键点的预测结果; 通过非极大抑制去除预测结果中重合度较高的预测框,从而得到第i张人脸图像xi的最终预测结果fi;令最终预测结果fi中任意一个人脸框的位置记为xi,yi,wi,hi,其中,xi,yi是人脸框的中心点坐标,wi,hi对应人脸框的宽和高;令预测结果fi中的人脸关键点集合为{xih,yih|h=1,2,...,H},其中,xie,yie分别代表人脸的第h个关键点,H表示关键点的数量; 步骤3:基于人脸图像数据集X,利用梯度下降法对所述目标检测网络进行训练,并计算的总损失函数Li以更新网络参数,直到总损失函数Li收敛为止,从而得到训练后的目标检测网络并作为教师模型G; 步骤4:构建半监督学习数据集的伪标签; 将无标签的人脸图像数据集Y输入所述教师模型G中进行处理,得到Y的伪标签FY={fy1,fy2...fyj...fym};其中,fyj表示无标签图像数据yj对应的预测标签; 将带标签的人脸图像数据集X和带伪标签的人脸图像数据集Y混合后作为新的人脸图像数据集XY={xy1,xy2...xyg...xym+n},其中,xyg表示第g张新的人脸图像,令新的人脸图像数据集XY对应新的标签集合TF={tf1,tf2...tfg...tfm+n},tfg表示第g张新的人脸图像xyg的标签;g=1,2,3...m+n,m+n为新的人脸数据图像集XY的图像总数; 步骤5:构建新型半监督检测网络并训练,所述新型半监督检测网络由所述教师模型G中的主干网络的、SSH模块、预测模块以及新金字塔模块RE_BiFPN组成; 步骤5.1:基于主干网络的三阶段特征提取; 将第g张新的人脸图像xyg及其对应的标签tfg输入所述教师模型G的主干网络中进行处理后,得到新的第一阶段网络特征Sg_p,新的第二阶段网络特征Sg_p,新的第三阶段网络特征Sg_r; 步骤5.2:构建新金字塔模块RE_BiFPN并进行图像特征提取; 步骤5.2.1、所述新金字塔模块RE_BiFPN利用维度为b×b的卷积对Sg_p、Sg_p和Sg_r的通道数分别进行调整后,得到调整后的特征和并分别进行两两融合后,得到三个融合特征 步骤5.2.2、将三个融合特征再分别进行两两融融合后,得到融合,得到三个阶段融合特征 步骤5.3:通过SSH模块进行加强特征提取; 所述教师模型G中的SSH模块将三个阶段融合特征和进行拼接操作后得到拼接特征Sg_pqr; 所述SSH模块利用三个卷积核尺寸分别为d×d、e×e和f×f的并行卷积对拼接特征Sg_pqr进行处理,相应得到新第一阶段加强特征Sg_pout、新第二阶段加强特征Sg_qout和新第三阶段加强特征Sg_rout; 步骤5.4:基于Head模块将分类、预测框和关键点的特征进行提取; 所述Head模块将Sg_pout、Sg_qout和Sg_rout组合成新的预测特征Sg_new,再将Sg_new分别进行三种维度的张量重构操作,得到新的人脸类别特征Sg_class,新的人脸框特征Sg_box和新的人脸关键点特征Sg_lands; 步骤5.5:利用式2建立新型半监督检测网络的总损失函数Lnew: Lnew=αLi+βLg2 式2中,Lg表示新型半监督检测网络对第g张新的人脸图像xyg的损失函数,α表示带标签图像监督损失的权重,β表示带伪标签图像监督损失的权重; 步骤5.6:预测模块的修正与解码; 所述教师模型G中的预测模块将Sg_class,Sg_box和Sg_lands拼接得到新的最终预测特征Sg_out,再对Sg_out进行解码后得到第g张新的人脸图像xyg中包含人脸框和人脸关键点的预测结果; 步骤6:基于人脸图像数据集XY,利用梯度下降法对所述新型半监督检测网络进行训练,并计算的总损失函数Lnew以更新网络参数,直到总损失函数Lnew收敛为止,从而得到训练后的目标检测网络并作为新型检测模型Gnew。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人安徽大学;安徽友坤玻璃有限责任公司,其通讯地址为:230601 安徽省合肥市经济技术开发区九龙路111号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励