买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利一种基于图神经网络的RGBT行人多目标跟踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116612153B 。

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310631602.6，技术领域涉及：G06T7/246；该发明授权一种基于图神经网络的RGBT行人多目标跟踪方法是由廖阔;田祯杰;陈思情;何学思;彭曙鹏设计研发完成，并于2023-05-31向国家知识产权局提交的专利申请。

本一种基于图神经网络的RGBT行人多目标跟踪方法在说明书摘要公布了：本发明属于多模态多目标跟踪技术领域，具体涉及一种基于图神经网络的RGBT行人多目标跟踪方法。本发明基于图神经网络技术与多目标跟踪网络技术，完成了对可见光图像目标和红外图像目标的联合跟踪。具体方法是首先通过RGBT特征融合模块实现可见光图像和红外图像信息的融合，之后通过CenterNet检测网络实现对行人目标的检测，最后通过基于图神经网络的特征关联模块实现检测目标之间的匹配关联，最终实现RGBT行人多目标跟踪。相较于传统的单模态多目标跟踪算法，本发明中所提出的方法在跟踪目标处于强弱光、黑暗等复杂环境下依然有着较强的稳定性。

本发明授权一种基于图神经网络的RGBT行人多目标跟踪方法在权利要求书中公布了：1.一种基于图神经网络的RGBT行人多目标跟踪方法，其特征在于，包括以下步骤： S1、训练数据集构建：采用数据扩充的方式，利用伪红外数据生成方法将公开的行人可见光多目标跟踪数据集进行扩充，获得RGBT多目标跟踪训练数据集； S2、构建RGBT多目标跟踪模型，包括RGBT特征融合网络、检测网络和图数据关联网络，具体为： S21、采用DenseNet网络构建RGBT特征融合网络，DenseNet网络的输入为拼接在一起的行人可见光图像和红外数据图像，DenseNet网络对不同模态的图像评估图像中信息的有效性； S22、采用CenterNet检测网络建检测网络，实现行人目标检测，CenterNet检测网络的输入为RGBT特征融合网络输出的融合结果； S23、构建基于图神经网络的图数据关联网络，根据检测结果实现行人目标之间的特征关联，具体步骤如下： S231、初始化图模型： 将连续帧、中的检测候选框抽象为图模型中的节点集、，通过衡量与中的节点之间的相似性来构建图模型的边；节点生成方式为选择得分前K个检测候选框作为图模型中的节点，边的生成方式为衡量、中节点之间的相似性，具体包括检测框之间的外观相似性和空间相似性；针对边构造过程中部分节点无法连接的情况，将其设置为缓存节点保存于N1中，并设置缓存时间； S232、图模型信息传播更新： 包括节点特征更新和边特征更新；节点更新过程中，通过聚集其相邻的节点、边的特征来更新其特征： ， 其中，与分别表示节点i的第n+1和第n轮更新后的特征，表示节点的第j个邻居节点的第n轮特征，表示i、j两个节点之间的边的第n轮特征；节点i的自身特征与其邻节点j的特征、邻边的特征一起拼接输入到中，网络由一个全连接层、LN归一化层、ReLU激活函数构成；节点i所有邻节点特征通过计算后，采用累加的方式聚集在一起，再除以节点i的邻节点数量，获得的特征张量再通过一个与结构相同的网络，即获得更新后的节点特征； 边更新过程中，通过聚集其连接的节点特征、自身的初始化特征来更新其特征： ， 其中，和表示边第n+1轮和第n轮更新后的特征，表示该边的初始化特征，和分别表示其连接的节点i和j的特征，网络结构与相同； S233、更新图模型输出： 最后一轮更新的图模型中的边特征和节点特征将分别通过一个softmax层输出为预测得分；节点预测得分评估节点对应目标是否在图中存在匹配关系，如果得分低于阈值，则表明该节点为冗余节点，没有匹配目标；边预测得分用于衡量该边对应的两个目标之间的关联程度，该得分越高表示目标之间存在匹配关系的概率越大； S24、目标匹配： 根据得到的预测得分，获得最优匹配方案： ， ， 其中m表示已跟踪目标个数，n表示当前帧中的目标个数；表示第i个跟踪目标和第j个检测目标之间的关联代价，即图神经网络预测的边的系数；X代表着分配矩阵，为该矩阵中的元素，表征第i个跟踪目标和第j个检测目标之间的关联状态，其数值范围为“0-1”，“1”表示两者关联，“0”表示两者不关联；分配矩阵X的每一行的和为1，约束着每一个检测目标只能和一个跟踪目标进行关联，每一列的和也为1，约束着每一个跟踪目标只能和一个跟踪目标进行关联； S3、训练阶段： 利用S1中的训练数据，训练S2建立的RGBT多目标跟踪模型，采用随机梯度下降法训练至损失函数收敛；获得训练好的跟踪模型； S4、跟踪阶段： 利用训练好的模型对真实RGBT行人视频序列进行跟踪。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新西区西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。