买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种基于深度强化学习的目标跟踪状态估计器获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116543016B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310490802.4，技术领域涉及：G06T7/246；该发明授权一种基于深度强化学习的目标跟踪状态估计器是由刘妹琴;周成义;张森林;董山玲;郑荣濠设计研发完成，并于2023-05-04向国家知识产权局提交的专利申请。

本一种基于深度强化学习的目标跟踪状态估计器在说明书摘要公布了：本发明公开了一种基于深度强化学习的目标跟踪状态估计器。本发明属于信号处理领域的状态估计器设计领域。包括以下步骤：首先将目标跟踪的状态估计问题建模为部分可观测马尔科夫决策过程，其中观测设计为传感器节点的量测，动作设计为目标状态的估计值，并基于模态轨迹估计准则设计了智能体的奖励。随后推导了用于解决POMDP问题的循环确定策略梯度，最终基于RDPG构建了基于深度强化学习的目标跟踪状态估计器。该发明提出的基于深度强化学习的目标跟踪状态估计器能有效提高非线性目标跟踪系统的状态估计精度，能克服现有非线性滤波技术的缺陷，在非线性非高斯目标跟踪系统中亦能获得良好的状态估计性能。

本发明授权一种基于深度强化学习的目标跟踪状态估计器在权利要求书中公布了：1.一种基于深度强化学习的目标跟踪状态估计器，其特征在于，包括以下步骤： S1：将目标跟踪的状态估计问题建模为部分可观测马尔科夫决策过程，观测设计为传感器节点的量测，动作构建为目标状态的估计值，并基于模态轨迹估计准则设计智能体的奖励； S2：通过历史轨迹的价值函数、历史轨迹动作对的动作价值函数与期望奖励推导用于解决部分可观测马尔科夫决策过程的确定策略梯度； S3：基于确定策略梯度构建基于深度强化学习的目标跟踪状态估计器；并进行训练得到最优网络参数； 所述S3中估计器训练具体过程如下： S3.1探索环境 t时刻，智能体基于历史轨迹ht＝{o1:t,a1:t-1}执行动作at；在动作at作用于环境后，获得环境反馈的奖励rt，同时，环境转移至下一状态st+1，智能体观测到下一状态ot+1；与环境交互的数据o1,a1,r1,…,oT,aT,rT存放至记忆池 S3.2训练网络参数 在学习阶段，首先从记忆池中随机采样N回合的数据： 并利用随机采样的回合数据构造历史轨迹： 其次对于每一回合的采样使用循环目标神经网络Qφ′计算目标值： 其中θ′为循环目标actor网络的参数，φ′为循环目标critic网络的参数；使用随时间的反向传播算法计算critic价值网络的更新量： 其中为训练过程中采样的轨迹数量，为轨迹的长度；同样使用BPTT计算actor网络的参数更新量： 因此，循环actor和critic网络的参数按下式更新： θ←θ+λθΔθ φ←φ-λφΔφ, 其中λθ和λφ分别为循环actor网络和循环critic网络的学习率； 最后使用polyak平均更新循环目标actor网络和循环目标critic网络的参数θ′和φ′： θ′←τθ+1-τθ′ φ′←τφ+1-τφ′ 其中τ为polyak更新系数； S3.3状态估计 在训练达到预先设定的最大训练回合次数M后，训练过程结束，得到最优网络参数θ*和φ*；因此基于深度强化学习的目标跟踪状态估计器近似为： 基于该状态估计器进行目标状态的跟踪； S4：基于训练好的目标跟踪状态估计器，实现对目标跟踪系统的状态估计。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。