买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉大连交通大学申请的专利基于深度强化学习的车辆匝道入口合流控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116215532B 。

龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310178262.6，技术领域涉及：B60W30/18；该发明授权基于深度强化学习的车辆匝道入口合流控制方法是由佟宁;李凤岐;王坤瑞设计研发完成，并于2023-02-28向国家知识产权局提交的专利申请。

本基于深度强化学习的车辆匝道入口合流控制方法在说明书摘要公布了：一种基于深度强化学习的车辆匝道入口合流控制方法，其特征在于利用SUMO构建匝道合流仿真环境并获取相关状态信息，设计状态空间、动作空间以及奖励函数，基于近端策略优化算法构建Actor网络和Critic网络，并对网络进行迭代训练，直至收敛，最后通过TraCI接口与SUMO交互，完成匝道入口合流行为；加入了效率、舒适度等其他奖励标准，可以有效提升瓶颈路段的通行效率；采用actor‑critic架构的PPO深度强化学习方法，能够有效的解决现有深度强化学习方法在处理复杂状态空间时，容易陷入状态空间爆炸的困境，引发维度灾难问题。本发明具有可实现车辆匝道合流控制、提高了匝道合流区域车辆行驶的安全性及道路交通通行效率、同时保证乘客舒适的优点。

本发明授权基于深度强化学习的车辆匝道入口合流控制方法在权利要求书中公布了：1.一种基于深度强化学习的车辆匝道入口合流控制方法，其特征在于：利用SUMO构建匝道合流仿真环境并获取相关状态信息，设计状态空间、动作空间以及奖励函数，基于近端策略优化算法构建Actor网络和Critic网络，并对网络进行迭代训练，直至收敛，最后通过TraCI接口与SUMO交互，完成匝道入口合流行为，包括以下步骤： 步骤一、利用SUMO交通仿真软件搭建高速公路匝道合流路段并获取道路环境、自车及周围环境车辆的状态信息，状态信息包括车辆ID、横向位置、纵向位置、横向速度、纵向速度、加速度； 步骤二、利用车辆的状态信息，设计状态空间、动作空间以及奖励函数： 1状态空间S由自车和主车道前、后车辆的连续状态组成S＝{xe,xf,xr}，其中xe代表自车状态，xe＝[px,py,spx,spy,a]，其中px,py分别表示自车的横、纵向位置，spx,spy分别表示自车的横、纵向速度，a表示自车加速度，而xf,xr分别为主车道前后车辆状态，xi＝[drd,i,px,i,spy,i,ai]，i∈{f,r}，其中drd,i表示该车道车辆与自车的相对距离,px,i,spy,i,ai分别为该车的横向位置、纵向速度及该车的加速度； 2动作空间U由车辆动作集合u构成，u＝{1,2}，1表示立即进行匝道合流，2表示暂停合流； 3奖励函数R由舒适度子奖励、效率子奖励、安全子奖励构成，表达式为：R＝μcRct+μeRefft+μuRunsafety，其中Rct、Refft、Runsafety分别代表舒适度子奖励、效率子奖励、安全子奖励，μc,μe,μu分别为对应子奖励的权重，μc+μe+μu＝1，其中： 1舒适度子奖励，表达式为：Rct＝-α·axt2-β·ayt2，ax，ay分别为横纵加速度，α，β分别为横纵向舒适度对应的权重； 2效率子奖励，表达式为：Refft＝wt·Rtimet+wm·Rmerget+ws·Rspeedt，Rtimet是基于时间的次奖励，Rmerget表示自车横向位置相对于目标横向位置的差值，Rspeedt表示自车纵向速度相对于目标纵向速度的差值，通过wt，wm和ws调节权重； 3安全子奖励，表达式为：当发生碰撞时，当前状态下当前动作的奖励值为-100；当距离低于安全距离ds时，根据选择合流动作u＝1或暂停合流动作u＝2情况，通过Rnear_collision参数来表示此时的奖励值，Rnear_collision表达式为： py,e表示自车纵向位置，py,fpy,r分别表示主车道前后车辆的纵向位置； 步骤三、基于近端策略优化算法，构建Actor网络和Critic网络，Actor网络是策略网络，负责与环境的交互获得行动策略；Critic网络是评估网络，负责对策略进行评估，策略网络调整参数θ输出动作，评估网络指导Actor网络向累计奖励更大的方向收敛；初始化Actor网络、Critic网络以及网络参数，训练网络直至收敛，建立车辆匝道入口合流控制模型； 步骤四、将SUMO仿真软件产生的实时车辆状态信息通过TraCI接口输入训练完成的车辆匝道入口合流控制算法模型，得出对应的决策行为，并返回SUMO执行车辆合流。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人大连交通大学，其通讯地址为：116028 辽宁省大连市沙河口区黄河路794号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。