买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京工业大学申请的专利一种基于Q学习分布估计算法的拆解车间AGV调度方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120178803B 。

龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510251321.7，技术领域涉及：G05B19/418；该发明授权一种基于Q学习分布估计算法的拆解车间AGV调度方法是由韩红桂;王腾;王晶晶设计研发完成，并于2025-03-04向国家知识产权局提交的专利申请。

本一种基于Q学习分布估计算法的拆解车间AGV调度方法在说明书摘要公布了：本发明提出了一种基于Q学习分布估计算法的拆解车间AGV调度方法，构建拆解车间AGV调度计算模型优化任务的完成时间，并设计编解码规则有效表示调度方案；提出基于Q学习的分布估计算法，通过精英解与非精英解更新概率模型；采用基于Q学习的局部搜索策略优化精英解，得到拆解车间AGV最优调度方案，实现拆解车间的AGV调度。本发明通过建立拆解车间AGV调度模型，实现调度目标的快速计算，提出的基于Q学习的分布估计算法能有效求解大规模拆解车间AGV调度问题。

本发明授权一种基于Q学习分布估计算法的拆解车间AGV调度方法在权利要求书中公布了：1.一种基于Q学习的拆解车间AGV调度方法，特征在于：构建拆解车间AGV调度模型，设计基于Q学习的拆解车间AGV调度方法，获取拆解车间AGV调度方案； 1构建拆解车间AGV调度以运输效率为目标的计算模型，具体为： 计算AGV空载运输的开始时间esij，在AGV开始所有运输任务前，AGV空载运输的开始时间是0；否则，AGV空载运输的开始时间等于AGV带载运输的结束时间leij，如公式1所示： 计算AGV空载运输的结束时间eeij，包括AGV空载运输的开始时间esij和AGV空载运输的时间tij，如公式2所示： eeij＝esij+tij2 其中，AGV空载运输的时间tij为AGV从当前位置mA到目标位置mg所需的时间，如公式3所示，表示AGV从当前位置mA到目标位置mg的距离，v表示AGV的速度； 计算AGV带载运输的开始时间lsij，即此拆解任务上一个拆解任务Oij-1完成拆解的时间cij-1和AGV空载运输结束时间eeij中的较大值，若AGV进行首次运输任务，则cij-1＝0，如公式4所示： lsij＝maxcij-1,eeij4 计算AGV带载运输的结束时间leij，为AGV带载运输的开始时间lsij和AGV带载的运输时间Tij之和，如公式5所示： leij＝lsij+Tij5 其中，AGV带载运输的时间Tij为AGV从带载所在位置ml前往目标位置mg所需的时间，如公式6所示，表示AGV带载所在位置ml到目标位置mg的距离； 考虑AGV运输过程的耗电情况，其电量消耗与运输时间呈正相关，AGV移动到下一个地点的电量变化如公式7所示，Et表示AGV当前时刻的电量，Et+1表示AGV从所在地点移动到下一个地点后的电量，Ecost表示AGV单位距离的电量消耗，d′表示AGV在两个地点之间的行驶距离，若AGV为首次运输任务，AGV的电量Et为满电量Efull； Et+1＝Et-Ecost×d′7 在AGV移动到下一个地点前，检查AGV所剩电量是否满足最小电量要求Emin，若AGV剩余电量能够满足AGV从当前位置到目标位置再到充电站的电量消耗，即公式8所示的条件，则AGV继续执行当前任务；否则，AGV前往充电站充电，其中表示AGV从目标位置到充电站的距离； 若AGV处于空载状态且需要充电，则按照公式9更新运输时间，tcha表示充电时间，表示AGV空载从当前位置mA到充电站m1的距离，t′ij表示更新后的空载运输时间；若AGV处于带载状态且需要充电，则按照公式10更新运输时间，表示从AGV带载的当前位置ml到充电站m1的距离，T′ij表示更新后的带载运输时间，比更新前增加了AGV从所在位置到充电站所需时间、充电时间和AGV从充电站到目标位置的运输时间；AGV完成充电后，按照公式11更新电量,E′t表示更新后的电量； E′t＝Efull11 计算拆解机器开始处理拆解任务Oij的时间sij，即AGV带载运输的结束时间leij和机器前序拆解任务的完成时间msk的最大值，如公式12所示，若AGV为首次运输任务，所有机器均处于空闲状态，则msk＝0； sij＝maxleij,msk12 计算拆解机器完成拆解任务Oij的时间cij，包括机器开始处理拆解任务Oij的时间sij和机器处理拆解任务Oij的时间pij，如公式13所示； cij＝sij+pij13 建立考虑充电的拆解车间AGV调度的目标函数，将最小化所有拆解任务的最大完成时间作为调度优化目标，函数表达式如公式14所示： 2设计基于Q学习的拆解车间AGV调度方法，包括设计编解码规则，初始化概率矩阵，概率矩阵的采样操作，基于Q学习的概率矩阵更新规则，基于Q学习的局部搜索操作，具体为： a设计编解码规则，通过编码和解码表示解和调度方案的映射关系： 编码：对n个工件的拆解任务编码，每个工件包含m个拆解任务，采用r＝i-1·m+j对工件i的第j个拆解任务进行编号，其中i＝1,2,…,n且j＝1,2,…,m，将所有拆解任务编号为1到n×m，通过长度为n×m任务编号的排列π＝1,2,…,r,…,n×m表示编码解，排列的顺序即为任务的调度顺序； 解码：对编码解中的所有元素都整除以拆解任务数m，商加1是工件号i，余数j是工件i的拆解任务号，AGV按编码顺序运送所有工件至对应的拆解机器位置进行拆解，AGV执行运输任务前，需判断电量是否充足，若不足，需进行充电后再根据AGV的速度和距离计算运输时间；AGV到达目标拆解机器后，按照式12和13计算每个拆解任务的开始和完成时间，拆解任务完成后才能将工件运送至一下个拆解机器，计算所有AGV运输任务和拆解任务的最大完成时间； b初始化概率矩阵，对概率矩阵进行采样，并通过精英个体和非精英个体更新概率模型： 构建n×m行，n×m列的概率矩阵Pl，如公式15所示： Pl表示第l代种群的概率矩阵，每个矩阵元素表示第l代编号为r的拆解任务位于个体中ckk∈[1,n×m]位置的概率，均匀初始化概率矩阵，即令 通过概率矩阵采样操作生成新个体，构建n行m列的备选集合P′表示n个工件的m个拆解任务，如公式16所示： 考虑拆解任务约束，从备选工序集合P′中确定满足工艺约束可选工序集合的列向量P′o，即选择集合P′中每一行第一个非零元素作为P′o对应行的元素，如果P′中某一行元素全为0，则跳过此行，继续选择下一行的第一个非零元素作为P′o的对应元素；根据概率矩阵Pl确定P′o中各任务在当前位置ckk∈[1,n×m]的选择概率，使用轮盘赌法选择一个任务分配到当前位置ck，令P′中该任务对应位置的元素置为0，同时更新P′o，直到所有任务完成采样，即P′中所有元素为0，生成一个新个体； 根据最大完成时间对所有个体进行从小到大排序，取前20％为精英个体，后30％为非精英个体，根据种群精英个体和非精英个体更新概率矩阵，定义如公式17所示： 在公式17中，s＝a代表精英个体，s＝b代表非精英个体，概率矩阵的每个元素更新如公式18所示，表示第l+1代编号为r的拆解任务位于个体中ck位置的概率，α0α1表示学习速率，Asize表示所有精英个体的数量，Bsize表示所有非精英个体的数量； c针对上述的精英个体设计基于Q学习的局部搜索方法： 建立Q表：选取三个关键时间指标，即所有拆解任务完成的总时间，AGV运输时间，机器空闲时间；对三个指标进行离散化操作：根据各指标对所有解进行降序排列，并进行三等分对应三个不同的状态，通过组合三种等级可构成具有总共有3×3×3＝27个状态组合的状态空间；动作空间由三种局部搜索算子构成，分别是交换，插入和逆转；交换指交换任务序列中两个不同位置的拆解任务；插入指从任务序列中取出一个任务插入到另一位置；逆转指选择任务序列中一段连续的拆解任务，将其顺序进行逆转；构建大小为27×3的Q表，每个元素代表一个状态-动作对，Q表的所有元素初始值设为0； 动作选择：根据精英解的三个时间指标确定其状态，从Q表中选择在该状态下Q值最大的动作，并执行该动作，产生新的个体； 更新Q表：判断新个体的状态并计算奖励，奖励函数由所有拆解任务完成的总时间Cmax、AGV运输时间TAGV和机器空闲时间Tms的改进量组成，对于每个时间指标XX∈{Cmax,TAGV,Tms}，改进量ΔX由公式19计算，其中，Xlast表示时间指标X在上一个状态下的值，Xnew表示时间指标X在当前状态下的值； 由公式20得出三个时间指标改进量的加权和r′t+1，其中，ΔCmax，ΔTAGV，ΔTms是由式19计算得出的三个时间指标的改进量，设所有拆解任务完成的总时间的权重ωc＝0.6，AGV运输时间的权重ωA＝0.2，机器空闲时间的权重ωm＝0.2；奖励函数rt+1如公式21所示，若任一时间指标得到改善，则给予正向奖励，否则，给予负奖励； r′t+1＝ωc·ΔCmax+ωA·ΔTAGV+ωm·ΔTms20 使用公式22所示的Q学习更新公式更新Q表； Q′st,at＝Qst,at+σ[rt+1+γmaxaQst+1,a-Qst,at]22 其中，σ0σ0.7表示学习速率，γ0.5γ1是折扣因子，Qst,at表示更新前状态st和动作at对应的Q值，Q′st,at表示新状态st和动作at对应的Q值，maxaQst+1,a是在新状态st+1下所有可能动作的最大Q值； 存储最优解：更新Q表后，若新解优于旧解，则替换旧解并存储新解信息； 3获取拆解车间AGV调度方案：根据2中的步骤，初始化概率矩阵后，通过重复迭代步骤采样生成种群操作和更新概率矩阵操作，以及基于Q表对精英解的状态选择不同动作、更新Q表并存储最优解操作，直至迭代次数达到lmax＝100，获得最优解，并通过解码规则输出最优AGV调度方案，实现拆解车间AGV的优化调度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京工业大学，其通讯地址为：100124 北京市朝阳区平乐园100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。