中国人民解放军空军特色医学中心杜鹏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国人民解放军空军特色医学中心申请的专利一种用于视频的特征融合提取方法及设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117496320B 。
龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311476895.1,技术领域涉及:G06V10/80;该发明授权一种用于视频的特征融合提取方法及设备是由杜鹏;吴伟超;白霜;王若永;李峰;陈曦蒙;景洪江;穆慧玲;王亚雯;张莉莉;郝一铭;刘鹏;桑源设计研发完成,并于2023-11-07向国家知识产权局提交的专利申请。
本一种用于视频的特征融合提取方法及设备在说明书摘要公布了:本发明提供一种用于视频的特征融合提取方法及设备,该方法包括:将所述视频的连续多帧图像组成的特征图按通道维度分为两组;对两组特征图分别在空间维度和时序维度上采用通道激励的方法进行特征提取,得到空间特征图和时序特征图;将所述空间特征图和时序特征图进行特征融合,提取得到所述视频的包含空间特征和时序特征的特征图。本发明解决了现有技术中的用于视频的特征提取方法忽略了空间和时序维度之间的互动,导致识别效果差、效率低的问题。
本发明授权一种用于视频的特征融合提取方法及设备在权利要求书中公布了:1.一种用于视频的特征融合提取方法,其特征在于,包括: 将所述视频的连续多帧图像组成的特征图按通道维度分为两组Xs和Xte; 对两组特征图分别在空间维度和时序维度上采用通道激励的方法进行特征提取,得到空间特征图和时序特征图;包括:通过SGAP模块对其中的一组特征图Xs在空间维度上做平均池化,时序维度保持不变,得到初级空间特征图,并对所述初级空间特征图采用一维卷积对空间特征进行建模,得到所述视频对应的空间特征图;通过下述公式对一组特征图Xs进行平均池化,得到所述初级空间特征图: 其中,为全局平均池化后得到的初级空间特征图,FSGAPXs表示对一组特征图Xs进行空间全局平均池化,H×W是输入特征图的高和宽,xs:,:,h,w表示在时序维度保持不变,在空间维度上对一组特征图Xs进行平均池化; 通过下述公式对初级空间特征图进行建模: 其中,表示对所述初级空间特征图进行建模,Conv1DC2G→C2Gr表示对初级空间特征图从C2G→C2Gr进行降维,Conv1DC2Gr→C2G表示对特征图从C2Gr→C2G进行维度恢复,C为图像通道数,G为分组超参数,r为卷积层降维比率;表示叠加操作; 通过TGAP模块对另一组特征图Xte在时序维度上做平均池化,保持空间维度不变,得到初级时序特征图,并对所述初级时序特征图采用二维卷积对时序特征进行建模,得到所述视频对应的时序特征图;通过下述公式对另一组特征图Xte进行平均池化,得到所述初级时序特征图: 其中,为时间全局平均池化后得到的初级时序特征图,FTGAPXte表示对初级时序特征图进行时间全局平均池化,T是输入特征图的帧数,xte:,t,:,:表示对时序维度进行平均池化,其他维度均保持不变; 通过下述公式对所述初级时序特征图进行建模: 其中,表示对初级时序特征图进行建模,Conv2DC2G→C2Gr表示通过2D卷积对特征从C2G→C2Gr进行降维,Conv2DC2Gr→C2G表示对特征通过2D卷积从C2Gr→C2G进行维度恢复,C为图像通道数,G为分组超参数,r为卷积层降维比率,表示将提取的特征权重与初级时序特征图进行叠加; 将所述空间特征图和时序特征图进行特征融合,提取得到所述视频的包含空间特征和时序特征的特征图,包括:通过特征融合模块将时序特征图和空间特征图通过通道错开的方式合并;并将合并后的特征图进行通道洗牌;通过平均池化操作对通道洗牌后的特征图进行特征提取后与合并后的特征图进行残差连接,并通过激活函数激活后得到所述视频对应的包含空间特征和时序特征的特征图; 所述SGAP模块、TGAP模块和特征融合模块打包为时空分离的注意力激励模块,设置于resnet50骨干网络的stage4中,以提升网络的时序提取能力。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国人民解放军空军特色医学中心,其通讯地址为:100142 北京市海淀区阜成路28号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。