合肥工业大学张炳力获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉合肥工业大学申请的专利一种基于机器视觉的端到端车辆轨迹预测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116433726B 。
龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310528772.1,技术领域涉及:G06T7/246;该发明授权一种基于机器视觉的端到端车辆轨迹预测方法是由张炳力;佘亚飞设计研发完成,并于2023-05-11向国家知识产权局提交的专利申请。
本一种基于机器视觉的端到端车辆轨迹预测方法在说明书摘要公布了:本发明公开了一种基于机器视觉的端到端车辆轨迹预测方法,包括:1.特征提取网络,利用卷积神经网络对多个单目相机图像进行特征提取;2.运动预测网络,通过引入2个GRU模型来预测周边车辆未来时刻的运动轨迹。本发明能解决在自动驾驶中周围车辆短时间内未来时刻运动轨迹中的避免特征丢失和误差累积的问题,从而能提升预测准确度并保障行车安全性。
本发明授权一种基于机器视觉的端到端车辆轨迹预测方法在权利要求书中公布了:1.一种基于机器视觉的端到端车辆轨迹预测方法,其特征是按如下步骤进行: 步骤1、数据采集: 利用K个单目相机分别捕获车辆行驶过程中当前时刻t的一帧图像数据{Otk|k=1,2,…,K},其中,Otk表示第k个单目相机捕获当前时刻t的一帧图像数据; 利用车辆的CAN总线提取车辆行驶过程中前一帧车辆位置相对于当前时刻t下的车辆位置的位置差at; 步骤2、搭建基于卷积神经网络的特征提取网络,包括:编码器网络、特征投影与空间转换网络、时序网络; 步骤2.1、所述编码器网络是基于Efficientnet-b4网络,并依次包括:八个卷积块和一个输出块;其中,所述输出块由一个平均池化层和全连接层构成; 将包含当前时刻t的前I帧图像数据{Ot-ik|i=0,1,2,…,I}一起输入所述编码器网络中进行处理,从而得到第k个单目相机捕获的图像数据的特征集合{ft-ik|i=0,1,2,…,I};其中,Ot-ik表示第k个单目相机捕获t-i时刻的一帧图像数据,ft-ik表示Ot-ik的图像数据特征; 将ft-ik在通道维度上进行分离后得到特征张量和深度张量并将两者做外积后得到Ot-ik的编码特征从而得到编码特征集合{ut-ik|i=0,1,2,…,I}; 步骤2.2、所述特征投影与空间转换网络对编码特征集合{ut-ik|i=0,1,2,…,I}进行处理,空间转换特征集合{yt-i|i=0,1,2,…,I},其中,yt-i表示t-i时刻的空间转换特征; 步骤2.3、所述时序网络是基于ResNet网络,依次包括:两个三维卷积层、一个金字塔池化层和输出层组成,其中,所述输出层是由一个三维卷积层组成; 将所述空间转换特征集合{yt-i|i=0,1,2,…,I}之中的每一个空间转换特征,依次经过两个三维卷积层、一个金字塔池化层的处理,并将各个层产生的中间量特征进行拼接后,输入所述输出层,所述输出层通过跳跃连接的方式将输入和输出相加后,最终得到时空信息特征集合{st-i|i=0,1,2,…,I},其中,st-i表示t-i时刻的时空信息特征; 步骤3、构造运动预测网络,包括:不确定性建模网络、双路预测模型网络和解码器网络; 步骤3.1、所述不确定性建模网络依次由n个残差块和一个平均池化层以及一个输出层组成; 将当前时刻t的时空信息特征st输入所述不确定性建模网络中,并依次经过n个残差块和一个平均池化层的处理后,得到当前时刻t的隐藏状态ht; 所述隐藏状态ht输入一个由二维卷积组成的输出层中进行处理后,得到当前时刻t的高斯分布的均值μt和方差σt2,并对正态分布Nμt,σt2进行t时刻的采样,最终得到当前时刻t的不确定性状态ηt; 步骤3.2、所述双路预测模型网络由两个GRU网络以及一个由残差网络组成,其中,第一个GRU网络由H个GRU单元组成,第二个GRU网络由t+H个GRU单元组成; 当h=1时,t-I时刻的时空信息特征st-I作为初始隐藏状态并输入第一个GRU网络的第h个GRU单元中进行处理,输出第一个GRU网络的第h个GRU单元中间状态pt+h1; 当h=1时,将当前时刻t的时空信息特征st作为初始隐藏状态,并将所述当前时刻t的不确定性状态ηt输入第二个GRU网络的第h个GRU单元中进行处理,输出第二个GRU网络的第h个GRU单元中间状态pt+h2; 当h=1时,将pt+h1与pt+h2送入所述残差网络中进行处理,相应输出pt+h1与pt+h2的权重,从而根据两个权重对pt+h1与pt+h2进行加权处理,得到预测t+h时刻的未来状态qt+h; 当h=2,3,…,H时,所述t-I时刻的时空信息特征st-I作为第一个GRU网络的第h个GRU单元的隐藏状态;将预测t+h-1时刻的未来状态qt+h-1输入第一个GRU网络的第h个GRU单元中进行处理,输出第一个GRU网络的第h个GRU单元中间状态pt+h1; 当h=2,3,…,H时,将预测t+h-1时刻的未来状态qt+h-1作为第二个GRU网络的第h个GRU单元的隐藏状态,将所述当前时刻t的不确定性状态ηt输入第二个GRU网络的第h个GRU单元中进行处理,输出第二个GRU网络的第h个GRU单元中间状态pt+h2; 当h=2,3,…,H时,将pt+h1与pt+h2送入所述残差网络中进行处理,相应输出pt+h1与pt+h2的权重,从而根据两个权重对pt+h1与pt+h进行加权处理,得到预测t+h时刻的未来状态qt+h;从而递归预测从t+1到t+H时刻的未来状态集合{qt+i|i=1,2,…,H}; 步骤3.2、所述解码器网络是基于ResNet-18网络,依次由三个残差块和三个上采样层交替组成,在第三个上采样层后连接一个由二维卷积组成的输出层; 将t+1到t+H时刻的未来状态集合{qt+i|i=1,2,…,H}送入所述解码器网络中进行处理,得到预测的车辆运动轨迹结果集合{wt+i|i=1,2,…,H},其中,wt+i表示t+i时刻的车辆所在位置; 步骤4、构建以车辆运动轨迹结果集合{wt+i|i=1,2,…,H}与真实轨迹数据之间的平均绝对误差为损失的损失函数;并通过Adam优化器对所述特征提取以及运动预测网络进行训练,同时不断优化所述损失函数以调整网络参数,从而得到车辆轨迹预测器,用于实现周边车辆的轨迹预测结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人合肥工业大学,其通讯地址为:230009 安徽省合肥市包河区屯溪路193号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励