买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京理工大学申请的专利一种基于深度强化学习的制造系统重构规划方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115185245B 。

龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210895278.4，技术领域涉及：G05B19/418；该发明授权一种基于深度强化学习的制造系统重构规划方法是由黄思翰;黄金棠;王国新;阎艳设计研发完成，并于2022-07-26向国家知识产权局提交的专利申请。

本一种基于深度强化学习的制造系统重构规划方法在说明书摘要公布了：本发明公开了一种基于深度强化学习的制造系统重构规划方法，该方法的实施过程如下：对现有的可重构机床和待加工产品进行分析，获取机床构形集合与产品待加工特征集合；采用马尔可夫决策过程对制造系统重构规划问题进行建模，形成重构规划的马尔可夫模型，根据机床构形集合与产品待加工特征集合明确状态空间和动作空间，根据确定的优化目标，确定奖励函数和转换概率矩阵；基于重构规划的马尔可夫模型，利用重构规划智能体与环境不断交互获得的样本数据对DQN算法的神经网络进行训练；利用训练好的DQN网络，输入的工件特征，快速求解获得制造系统重构规划的优化方案。本发明能够解决制造系统重构规划问题。

本发明授权一种基于深度强化学习的制造系统重构规划方法在权利要求书中公布了：1.一种基于深度强化学习的制造系统重构规划方法，其特征在于，该方法的实施过程如下： 步骤一、分析环境：对现有的可重构机床和待加工产品进行分析，获取机床构形集合与产品待加工特征集合； 步骤二、进行马尔可夫过程建模，确定重构规划过程四元组S,A,R,P：采用马尔可夫决策过程对制造系统重构规划问题进行建模，形成重构规划的马尔可夫模型，根据机床构形集合与产品待加工特征集合明确状态空间S和动作空间A，根据确定的优化目标，即以最小化生产成本作为制造系统重构规划的优化目标确定奖励函数R和转换概率矩阵P； 所述马尔可夫模型的状态空间S即为环境状态，状态空间S＝当前可用机床组M，工件类型E，工件特征完成情况F，当前机床构形C； 当前可用机床组M表示可供直接使用而不需要重构调整的一组机床集合，t时刻的当前可用机床组Mt的数学表达式为： 式中，表示工件的i特征采用j机床的nij构形加工；m为机床个数； 工件类型E＝{e|1,2,3，…,n}，n为工件个数； 工件特征完成情况F表示：定义xi为某工件i的特征完成情况，用“0”表示特征尚未加工；“1”表示该特征已经加工，即xi＝{0,1}；特征完成情况F为“集合”形式，用于表征工件所有特征的加工情况，记t时刻的工件特征完成情况Ft为： Ft＝{x1,x2,x3,…,xn}2 xn为工件n的特征完成情况，当Ft＝{1,1,1,…,1}时，表示当前工件所有特征加工完成； t时刻的当前机床构形Ct的数学表达为： 基于上述的描述，在t时刻的状态空间，即st可表示为： 所述马尔可夫模型的动作空间A包括当前可用机床组M以及所有可以由M重构得到的机床构形；在t时刻的动作at可表示为： 表明在t时刻，智能体根据策略选择了j机床的nij构形加工工件的i特征； 基于式5，动作空间可以表示为： 式中，和表示机床1具有n1和n2两种构形，对应可以加工工件的k1和k2两个特征，以此类推，表示机床m具有1…nm种构形，对应可以加工工件的k1…km个特征； 所述马尔可夫模型的奖励函数R以最小化生产成本为目标进行设置； 假设当前的环境状态为：①已知当前可用机床组M；②已知工件的特征完成情况F，将要选择下一个机床构形来加工下一待加工特征；③工件处于构形位置，即已经完成i特征的加工，位于j机床处，定义t时刻的奖励函数rt为： 式7中，i′为下一个待加工特征，为加工i′特征所需的目标机床构形； 为使用构形加工特征i′所需的加工成本；dj,j′为把工件从j机床搬运到j′机床所需的搬运成本； 为重构成本，可以分成4种情况，如式8所示： 当j＝j′,时，在当前机床发生重构，产生重构成本；当j≠j′,时，智能体直接选择M中的机床，无需发生重构，即重构成本为零；当j≠j′,时，将选择另一机床，并需要对该机床进行重构，产生重构成本；当j＝j′,时，在当前机床加工两个特征i和i′，该情况不允许发生； 智能体与环境在交互过程中会形成轨迹[st,at,rt,st+1,at+1,rt+1,…,sT]，最小化生产成本相当于从多条交互轨迹序列中最大化获得的累计回报，即奖励函数R，如式9所示： 式中，T为智能体与环境在交互过程的总时间； 步骤三、进行深度强化学习，即深度神经网络训练：基于重构规划的马尔可夫模型，利用重构规划智能体与环境不断交互获得的样本数据对DQN算法的神经网络进行训练； 步骤四、基于DQN获取重构规划的优化方案：利用训练好的DQN网络，输入的工件特征，快速求解获得制造系统重构规划的优化方案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。