东南大学李志斌获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉东南大学申请的专利基于模型预测控制引导的强化学习自动驾驶车队控制方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116088530B 。
龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310176952.8,技术领域涉及:G05D1/43;该发明授权基于模型预测控制引导的强化学习自动驾驶车队控制方法是由李志斌;邱开来;刘攀;徐铖铖;韩雨;郭延永;俞灏设计研发完成,并于2023-02-28向国家知识产权局提交的专利申请。
本基于模型预测控制引导的强化学习自动驾驶车队控制方法在说明书摘要公布了:本发明公开了基于模型预测控制引导的强化学习自动驾驶车队控制方法,针对智能网联环境下非线性混合流的自动驾驶车队构建预测控制模型;基于状态过渡模型构建非自动驾驶车辆的状态集成参数ψ;基于多智能体通信拓扑结构及状态估计ψ′,对自动驾驶车队构建基于深度确定性策略梯度的强化学习控制模型;将第一加速度和第二加速度结合为融合控制律,根据融合控制律对强化学习控制模型进行训练,将训练后的强化学习控制模型作为自动驾驶车辆的控制策略。本发明将模型预测控制用于强化学习训练,针对智能网联混合流自动驾驶车队队列控制,降低模型预测控制中的在线控制算力需求,减少强化学习训练过程中的无意义数据,增强混合流场景下的控制鲁棒性。
本发明授权基于模型预测控制引导的强化学习自动驾驶车队控制方法在权利要求书中公布了:1.基于模型预测控制引导的强化学习自动驾驶车队控制方法,其特征在于,包括: 针对智能网联环境下非线性混合流的自动驾驶车队构建预测控制模型,根据预测控制模型得到第一加速度; 针对自动驾驶车队周围的非自动驾驶车辆构建状态过渡模型,基于状态过渡模型构建非自动驾驶车辆的状态集成参数,采用粒子滤波算法对状态集成参数进行优化得到状态估计; 基于多智能体通信拓扑结构及状态估计,对自动驾驶车队构建基于深度确定性策略梯度的强化学习控制模型,根据强化学习控制模型输出第二加速度; 将第一加速度和第二加速度结合为融合控制律,根据融合控制律对强化学习控制模型进行训练,将训练后的强化学习控制模型作为自动驾驶车辆的控制策略,通过训练后强化学习控制模型输出的动作对自动驾驶车队进行控制; 对自动驾驶车队构建基于深度确定性策略梯度的强化学习控制模型之前包括: 根据自动驾驶车辆队列周围的非自动驾驶车辆不稳定驱动特性,将自动驾驶车辆CAV在时刻的状态定义为奖励函数定义为,动作定义为,状态定义表达式为: ; 上式中,表示每个智能体从队列中前车CAV接收的局部状态信息,表示每个智能体从队列头车CAV接收的全局状态信息,表达式分别为: ; ; 其中, ; ; ; ; 其中,表示时刻自动驾驶车辆CAV和CAV实际间距和目标控制间距的差值,表示时刻CAV的位置,表示时刻CAV的目标控制间距,表示时刻CAV和CAV的速度差,表示时刻CAV的车辆速度,表示时刻CAV车队前HDV车的速度和CAV的速度差,表示时刻CAV车队前HDV车的速度,表示期望时距,是超参数,表示时刻CAV的车辆长度; 奖励函数表达式为: ; 上式中,表示奖励传播的折扣系数;表示根据当前时刻加速度状态计算出来的智能体的奖励值,表达式为: ; 上式中,表示当CAV与前车的距离超过距离阈值或者加速度超过安全加速度时,增加的一个惩罚系数; 动作定义表达式为:。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人东南大学,其通讯地址为:210096 江苏省南京市玄武区四牌楼2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。