Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 吉林大学郭洪艳获国家专利权

吉林大学郭洪艳获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉吉林大学申请的专利一种基于时空图注意力网络的行人轨迹预测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115376103B

龙图腾网通过国家知识产权局官网在2026-01-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211030137.2,技术领域涉及:G06V20/58;该发明授权一种基于时空图注意力网络的行人轨迹预测方法是由郭洪艳;刘嫣然;孟庆瑜;李嘉霖设计研发完成,并于2022-08-26向国家知识产权局提交的专利申请。

一种基于时空图注意力网络的行人轨迹预测方法在说明书摘要公布了:本发明提供了一种基于时空图注意力网络的行人轨迹预测方法,步骤包括:采集行人轨迹数据构建数据集;数据预处理提取轨迹特征;时间注意力机制计算时间状态特征;空间注意力机制计算时空状态特征;预测未来轨迹,训练预测模型;本方法一方面利用时间注意力机制提取每个行人的时间特征,考虑了每个行人自身过去不同的历史时刻信息对当前预测结果的影响,有效提高预测结果的准确性;另一方面空间注意力机制将上一步时间注意力机制提取的场景中所有行人的时间状态特征作为输入,利用图注意力神经网络对每个行人的相邻行人分配合理的注意力系数从而融合相邻行人的特征信息,模拟行人之间包含社交因素的空间交互作用,保证预测结果的合理性。

本发明授权一种基于时空图注意力网络的行人轨迹预测方法在权利要求书中公布了:1.一种基于时空图注意力网络的行人轨迹预测方法,应用于自动驾驶领域,针对行人横穿马路场景进行行人的行为分析和预测,利用自动驾驶汽车感知系统装备的车载摄像机采集行人信息,其特征在于,具体步骤如下: 步骤一、采集行人轨迹数据构建数据集: 利用自动驾驶汽车感知系统装备的车载摄像机采集车辆行驶过程中前方和两侧的道路视频数据,运用语义分割、图像分类和数据标注与转换技术手段提取行人信息,其中包括道路视频每帧中每个行人在图像坐标系下的坐标值,构建行人轨迹数据集,进一步分为训练数据集和测试数据集; 步骤二、数据预处理提取轨迹特征: 对行人轨迹训练数据集进行预处理,为了在保证预测精度的前提下减小计算量,对输入的数据进行合理采样,提取每个行人的历史观测坐标,定义每个行人在历史时刻t的观测坐标为: 其中,i表示场景中第i个行人,t表示历史时刻,Tobs表示观测时域长度,N表示场景中的行人总数量,表示第i个行人在图像坐标系下在历史时刻t沿x轴方向的观测坐标值和沿y轴方向的观测坐标值; 定义每个行人在预测时刻tp的真实坐标为: 其中,i表示场景中第i个行人,tp表示预测时刻,Tpre表示预测时域长度,N表示场景中的行人总数量,表示第i个行人在图像坐标系下在预测时刻tp沿x轴方向的真实坐标值和沿y轴方向的真实坐标值; 计算每个行人在历史时刻t与上一个历史时刻t-1的历史相对位置 其中,表示第i个行人在图像坐标系下在历史时刻t沿x轴方向的历史相对值和沿y轴方向的历史相对值; 利用嵌入函数φ·对历史相对位置进行升维,得到每个行人在历史时刻t的嵌入向量 其中,表示第i个行人在历史时刻t的嵌入向量且维数为16,φ·表示嵌入函数,嵌入函数由全连接层组成,We表示可学习的全连接网络参数,网络的输入特征维数为2,输出特征维数为16,层数为1; 接着将每个行人在历史时刻t的嵌入向量输入到长短期记忆网络LSTM中,计算得到每个行人在历史时刻t的隐藏状态特征 其中,表示第i个行人在历史时刻t的隐藏状态特征且维数为32,LSTM·由长短期记忆网络单元组成,Wen为可学习得到的长短期记忆网络权重参数,网络的输入特征维数为16,输出特征维数为32,隐藏特征维数为32,层数为1; 步骤三、时间注意力机制计算时间状态特征: 通过时间注意力机制计算包含时间相关性的时间状态特征利用时间注意力机制计算每个行人的其他历史时刻r,r∈{1,...,t}隐藏状态特征对历史时刻t隐藏状态特征的时间注意力系数,提取每个行人的历史轨迹的时间相关性,具体过程如下: 首先,输入每个行人的隐藏状态特征计算第i个行人在其他历史时刻r的隐藏状态特征对历史时刻t的隐藏状态特征的时间注意力系数计算过程如下: 其中,f·表示余弦相似性函数,用来计算相似性值,表示第i个行人在其他历史时刻r的隐藏状态特征,softmax·表示归一化指数函数,表示第i个行人在其他历史时刻r的时间注意力系数; 接着,利用第i个行人在其他历史时刻r的时间注意力系数计算第i个行人在历史时刻t的时间状态特征计算过程如下: 其中,表示第i个行人在历史时刻t的时间状态特征且维数为32; 步骤四、空间注意力机制计算时空状态特征: 空间注意力机制将每个行人的时间状态特征输入到图注意力网络中,场景中的所有行人对应图结构中的各个节点,行人之间的交互对应图结构中的各个边,基于图注意力网络融合第i个行人在历史时刻t与相邻行人的轨迹交互特征,得到的时空状态特征即包含了时间相关性,也包含了空间交互性,具体过程如下: 首先,定义在图结构中,第i个行人的相邻行人集合为Ni,将所有行人的时间状态特征输入到图注意力网络中,计算在历史时刻t同一场景中第j个行人对第i个行人的空间注意力系数 其中,j∈{1,...,N}且j∈Ni,表示在历史时刻t同一场景中第j个行人对第i个行人的空间注意力系数,Ni表示第i个行人的相邻行人集合,表示第j个行人在历史时刻t的时间状态特征,表示第i个行人的任一相邻的第m个行人在历史时刻t的时间状态特征,m∈{1,...,N}且m∈Ni,LeakyRelu·表示非线性激活函数,a表示可学习的模型参数,W表示可学习的节点特征变换权重参数,||表示拼接操作; 其次,在计算得到在历史时刻t第j个行人对第i个行人的空间注意力系数后,利用图注意力网络计算第i个行人在历史时刻t融合相邻行人的空间交互特征的时空状态特征 其中,表示第i个行人在历史时刻t的时空状态特征且维数为32,σ·表示非线性函数; 步骤五、预测未来轨迹,训练预测模型: 将第i个行人在历史时刻Tobs的时空状态特征和隐藏状态特征进行拼接,为了模拟真实场景中行人运动的不确定性,加入服从正态分布的噪声向量z,得到第i个行人在历史时刻Tobs的轨迹解码特征计算过程如下: 其中,z表示噪声向量且维数为16,表示第i个行人在历史时刻Tobs的轨迹解码特征且维数为80,||表示拼接操作; 利用由长短期记忆网络组成的解码器Decoder来计算得到未来的预测相对位置,将第i个行人在历史时刻Tobs的轨迹解码特征作为解码器Decoder的输入,计算得到第i个行人在预测时刻Tobs+1的轨迹解码特征计算过程如下: 其中,表示第i个行人在预测时刻Tobs+1的轨迹解码特征且维数为80,表示第i个行人在历史时刻Tobs的嵌入向量,Wd表示可学习的网络权重参数; 将计算得到第i个行人在预测时刻Tobs+1的轨迹解码特征通过全连接层进行降维,得到维数为2的第i个行人在预测时刻Tobs+1的预测相对位置 其中,表示第i个行人在预测时刻Tobs+1的预测相对位置且维数为2,δ·表示全连接层网络,Wd表示可学习的网络参数,网络的输入特征维数为80,输出特征维数为2,层数为1; 将第i个行人在预测时刻Tobs+1的预测相对位置与历史时刻Tobs的观测坐标相加即可得到第i个行人在预测时刻Tobs+1的预测坐标计算过程如下: 其中,表示第i个行人在预测时刻Tobs+1的预测坐标,第i个行人在图像坐标系下在预测时刻Tobs+1沿x轴方向的预测坐标值和沿y轴方向的预测坐标值; 在得到第i个行人在预测时刻Tobs+1的预测坐标之后,下一预测时刻Tobs+2的预测坐标的利用同样的方法计算得到,依次迭代,即可计算得到各个预测时刻的预测坐标 在得到每个行人的各个预测时刻的预测坐标后,考虑到生成的合理的行人预测轨迹可能不止一条,结合步骤二中每个行人的预测时刻的真实坐标构造多样损失函数Lvariety,通过采样生成多个轨迹样本,计算其中欧式距离最小的样本作为最佳的预测轨迹,计算方法如下: 其中,k是一个初始设定为20的超参数,表示随机抽样生成的样本个数,表示根据第i个行人的预测坐标随机抽样生成的轨迹样本,Lvariety表示多样损失函数; 本方法的模型训练是在pytorch深度学习框架下进行的,使用Adam优化器进行优化,学习率设置为0.01,批大小设置为64,利用训练数据集对方法中所涉及的各种网络的权重参数和模型参数进行训练,计算多样损失函数Lvariety选出最佳的预测轨迹,保存相应的各种权重参数和模型参数,得到训练好的预测模型,然后用测试数据集执行上述步骤二至步骤五来预测行人未来轨迹。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人吉林大学,其通讯地址为:130012 吉林省长春市长春高新技术产业开发区前进大街2699号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。