北京理工大学邓宸伟获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京理工大学申请的专利一种目标间关系建模的多目标跟踪方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116433723B 。
龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310238764.3,技术领域涉及:G06T7/246;该发明授权一种目标间关系建模的多目标跟踪方法是由邓宸伟;武家鹏;韩煜祺;唐林波;王文正;王旭辰设计研发完成,并于2023-03-08向国家知识产权局提交的专利申请。
本一种目标间关系建模的多目标跟踪方法在说明书摘要公布了:本发明公开了一种目标间关系建模的多目标跟踪方法。包括:对于当前帧检测器输出的目标,利用目标自身的位置、外观特征与目标间的拓扑关系构建帧内图;随后利用消息传递网络对帧内图的顶点、边特征进行更新,以进一步融合目标间的特征;然后结合过去帧的轨迹图与当前的帧内图构建帧间图,帧间图的边表示轨迹与检测的特征相似度;对帧间图进行消息传递过程以进一步融合;随后利用全连接层网络对边代表的匹配关系进行得分计算,并对易漏检的低置信度检测和因遮挡等原因丢失的轨迹进行恢复。本发明的方法利用目标间的拓扑关系建模,可以在相机非线性运动的场景中实现稳定关联,并利用近邻目标信息辅助恢复被遮挡目标的检测;一定程度上克服了主流多目标跟踪算法分立处理目标的缺陷,能够实现非线性运动与遮挡场景下的稳定跟踪。
本发明授权一种目标间关系建模的多目标跟踪方法在权利要求书中公布了:1.一种目标间关系建模的多目标跟踪方法,其特征在于,包括以下步骤: 步骤一,构建检测器与外观特征提取网络,检测器的输入为视频帧,输出为各个目标的位置与类别,外观特征提取网络的输入为裁剪出的目标区域,输出为目标的外观特征向量; 步骤二,对于当前帧,以低置信度阈值筛选出检测候选框,随后采用非极大值抑制对高度重复的检测框进行去重,采用外观特征提取网络提取出各目标的外观特征; 步骤三,对当前帧检测出的目标构造帧内图,图的顶点表示该目标的外观特征与运动特征的编码,边表示所连接的两目标的特征空间拓扑关系,并经过消息传递网络更新帧内图特征; 步骤四,对当前帧与轨迹图构建匹配图,匹配图的一端顶点为活动轨迹与暂时丢失轨迹特征,另一端顶点为当前帧的目标特征,边为所连接的轨迹与当前目标的相似度度量,并经过消息传递网络更新匹配图特征;对每一条边输入至由由全连接层网络组成的边分类器,计算该边所代表的匹配关系的得分,由轨迹与目标间的得分构成代价矩阵,通过计算线性指派问题得到代价矩阵的最优解,即为匹配关系; 步骤五,对当前的匹配关系进行整理; 所述的步骤一还包括:检测器网络选择YOLO系列或CenterNet,外观特征提取网络为OSNet,高置信度阈值选择为0.5,低置信度阈值选择为0.2,每个目标外观特征向量的维度为64; 所述的步骤三中构造帧内图的具体方法为:帧内图的顶点与边的个数与具体的检测结果有关,由于目标密度不定,采用几何距离来寻找目标的近邻目标,范围为以该目标为中心,以图像高宽的较小者的0.1倍为半径;目标与近邻目标夹角与归一化距离各预置为20维向量,若近邻目标不足20个,以0填充;若大于20个,取最近的20个;帧内图的边特征编码中,融合顶点特征通过注意力计算获得,几何距离采用欧氏距离,边界框相似度包括中心点差值、宽高比的对数值、Wasserstein距离; 所述步骤四中构造匹配图的具体方法为:融合轨迹图的顶点特征与帧内图的顶点特征,并加入位置信息相似度; 所述步骤四中由匹配图计算得到匹配关系的具体方法为:对匹配图的边所代表的匹配关系输入至边分类器进行置信度计算,边分类器全连接层层数为2,激活函数采用Sigmoid以归一化输出;根据边得分构造匹配代价矩阵,将得分小于等于0.4的边在代价矩阵的相应位置设置为1E5以拒绝匹配,其余将代价矩阵的响应位置设置为1减去可能性得分,随后采用Sinkhorn算法或Hungarian算法得到匹配矩阵的最优解,即轨迹与目标的对应关系; 所述步骤三、四中消息传递网络的更新方式为帧内图与匹配图的消息传递迭代次数均为3,消息传递方式为平均聚合方式,即每个顶点的更新特征由其上一层的自身特征与近邻顶点的平均特征、入边与出边的平均特征以残差结构连接而成; 所述步骤五中轨迹整理的具体方法为: 匹配成功的活动轨迹与高置信度目标:将目标划入对应轨迹,并将目标当前特征与轨迹特征作指数平滑,作为新的轨迹特征; 匹配成功的活动轨迹与低置信度目标:将目标恢复,划入对应轨迹,由于当前目标特征不可信,因此不更新轨迹特征; 匹配成功的非活动轨迹与高置信度目标:将目标划入对应轨迹,以当前目标特征作为新的轨迹特征; 匹配不成功的轨迹:若该轨迹的状态为活动轨迹,则标记为非活动,记录非活动持续时间;若该轨迹的状态为非活动轨迹,则判定若非活动状态持续时间大于最大保留时间,则将其从轨迹集合中删除; 匹配不成功的目标:若该目标的置信度大于一定值,将其初始化为新轨迹。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京理工大学,其通讯地址为:100080 北京市海淀区中关村南大街5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励