买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利一种基于时空平滑度分析的水下机器人强化学习控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116880189B 。

龙图腾网通过国家知识产权局官网在2025-08-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310871124.6，技术领域涉及：G05B13/04；该发明授权一种基于时空平滑度分析的水下机器人强化学习控制方法是由王远大;杨嘉诚;孙佳;孙长银设计研发完成，并于2023-07-17向国家知识产权局提交的专利申请。

本一种基于时空平滑度分析的水下机器人强化学习控制方法在说明书摘要公布了：本发明提供了一种基于时空平滑度分析的水下机器人强化学习控制方法，通过结合时间平滑度和空间平滑度分析，效削弱电机信号中的震荡现象，通过在强化学习基于神经网络的控制器中引入积分补偿器，补偿由于值函数拟合误差带来的稳态误差，从而保证控制的稳定性和精确度。另外，本发明在控制过程中对水下机器人的动力学模型进行动态拟合，并通过动力学模型获得用于强化学习训练的经验数据，通过扩充训练数据的方法提高强化学习算法的学习效率。

本发明授权一种基于时空平滑度分析的水下机器人强化学习控制方法在权利要求书中公布了：1.一种基于时空平滑度分析的水下机器人强化学习控制方法，其特征在于：包括如下步骤： 步骤S1，构建水下机器人的仿真环境,其中机器人的六自由度运动模型表示为： ； 其中=[x,y,z,,,]T,x,y,z表示水下机器人的位置坐标,,,表示水下机器人的转向角,为其对应的一阶导数,v表示水下机器人在机器人体坐标系下的速度和转向率,为其对应的一阶导数，J是惯性坐标系到机器人体坐标系的坐标转换矩阵,并且是的函数；M为水下机器人的惯性矩阵；Cv矩阵描述了水下机器人运动中的向心力和科里奥利力的影响,并且是v的函数；Dv矩阵是阻尼矩阵,表示了水对水下机器人的阻尼特性,同样是v的函数；g表示水下机器人的恢复力矩阵,并且是的函数；表示水下机器人推进器的推进力； 步骤S2,构建奖励函数，并初始化水下机器人强化学习算法的评价器和控制器，以及用于拟合动力学的模型网络； 步骤S3,在仿真环境中执行多轮位置控制实验,每次实验保存相关实验数据用于后续的评价器和控制器训练,利用实验数据对动力模型网络进行训练,利用动力模型网络扩充数据集； 步骤S4,利用步骤S3中的数据对水下机器人的评价器和控制器进行训练,通过策略梯度算法对网络中的参数进行更新； 步骤S4具体步骤如下； 步骤S4-1,从仿真训练的数据库中随机抽取部分数据； 步骤S4-2,利用采样数据更新水下机器人的主评价器网络参数,根据策略梯度法对主评价器网络Qs,a|w1的参数w1进行更新，其中a为推进力控制量，s为当前的系统状态量； 步骤S4-3,更新水下机器人的目标评价器网络参数,根据如下公式对目标评价器网络Qs,a|w2的参数w2进行更新： ； 其中表示参数的更新速率； 步骤S4-4,利用采样数据更新水下机器人的控制器网络参数,加入针对非平滑的电机驱动信号的优化策略,在控制器网络更新过程中引入电机使用率控制参数PU,以及电机驱动信号空间平滑度参数PS和时间平滑度参数PT,其中PU用于防止电机使用率超过限制,PS和PT用于平滑电机驱动信号,用如下公式计算： PS=DSs|,|； PT=DTs|,s’|； 其中DS,DT表示均方根误差函数,表示施加噪音后的系统状态量，表示网络中的权值参数,根据该电机驱动力优化策略以及策略梯度算法对控制器网络s|的参数进行更新； 步骤S5,对步骤S4所得的控制器进行性能测试,判断其是否达到任务指标； 步骤S6,在真实环境中使用控制器对水下机器人进行位置控制。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：210096 江苏省南京市玄武区四牌楼2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。