买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北林业大学申请的专利一种基于深度强化学习的在线长短料三维装箱方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120364444B 。

龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410388382.3，技术领域涉及：B65G57/18；该发明授权一种基于深度强化学习的在线长短料三维装箱方法是由武子棋;杨春梅;任长清;杨伟强;丁星尘设计研发完成，并于2024-04-01向国家知识产权局提交的专利申请。

本一种基于深度强化学习的在线长短料三维装箱方法在说明书摘要公布了：一种基于深度强化学习的在线长短料三维装箱方法，涉及木窗加工及物品装箱技术领域。数据集生成，随机生成木材序列，模拟实际生产加工的在线属性；观测信息预处理，获取并编码观测信息，使用CNN作为特征提取器进行特征提取；episode生成，使用动作掩码确定可行的动作空间，并根据策略在动作空间中选择可行的动作，生成episode；经验池生成，根据episode生成经验池；经验池扩充，将每个episode按照对称的方式重置每一个时间步的状态，并将新的经验放入经验池中；模型训练，使用基于PPO算法的强化学习模型进行训练。能够适用于长短料的装箱问题，提供更加合适的码垛策略，有助于提高生产效率。

本发明授权一种基于深度强化学习的在线长短料三维装箱方法在权利要求书中公布了：1.一种基于深度强化学习的在线长短料三维装箱方法，其特征在于：包括以下步骤： S1、数据集生成 结合设定的相关参数随机生成木材序列，所述相关参数包括木材的截面信息s＝{w,h}、木材的长度范围range＝[lmin,lmax]、长度大于箱体和长度小于箱体的木材数量比rls＝nls、木材的总数ntotal以及根据尺寸区分的木材的种类数量nkind，其中，w表示木材截面宽度，h表示木材截面高度，lmin表示木材最小长度，lmax表示木材最大长度，nl表示长度大于箱体的木材数量，ns表示长度小于箱体的木材数量，木材的截面信息s和木材的长度范围range与码盘的长度L、宽度W及限定高度H相关，通过随机生成的木材序列模拟实际生产加工的在线属性； S2、观测信息预处理 S2-1、建立码盘所在三维空间，在该三维空间中沿z轴负方向进行观测并将观测得到的二维平面网格化，按照矩阵的方式记录码盘内部空间的高度信息，矩阵中每个位置的数值表示当前码盘内部空间相应位置的最顶层木材的高度； S2-2、按照矩阵的方式记录码盘内部空间的长度信息，矩阵中每个位置的数值表示当前码盘内部空间相应位置的最顶层木材的长度； S2-3、对于码盘外部空间，仅以矩阵的方式记录沿码盘长度方向以外空间的最顶层木材的长度信息，包括位于码盘长度方向两侧的两个外部空间，每个外部空间的长度为L2，宽度为W，高度为H，矩阵中每个位置的数值表示当前码盘外部空间相应位置的最顶层木材的长度，之后将两个外部空间对应的两个矩阵沿长度方向进行拼接，得到长度和宽度与内部空间大小一致的矩阵； S2-4、获取将要被码垛的木材的长度l，乘以元素全为1的矩阵，将标量l复制扩展为与S2-3得到的大小一致的矩阵； S2-5、根据码垛的约束规则创建动作掩码，所述约束规则包括：木材的重心应位于码盘内部；允许木材顶点的x坐标位于码盘的外部空间，但所有的y坐标和z坐标应位于码盘的内部空间；木材的支撑面积与木材下侧面积之比应满足码垛要求的阈值； S2-6、将矩阵扩展为1×L×W的张量后，进行合并得到5×L×W的张量，使用CNN作为特征提取器进行特征提取，将得到的结果作为新的观测，其中CNN网络接受的是初始观测信息，在训练过程中，CNN不与强化学习模型一起训练，而是每当总的奖励稳定时更新一次； S3、episode生成 使用动作掩码确定可行的动作空间，并根据策略在动作空间中选择可行的动作，生成episode，episode从空码盘开始，在该状态下，内部空间高度和最顶层木材的长度信息全部为零矩阵，之后的每一动作都是根据动作掩码从可行的动作空间中进行选择，结束标志为动作掩码矩阵为全零矩阵或木材序列中最后一个木材被成功码垛； S4、经验池生成 根据episode生成经验池，经验池中的经验包括当前时间步的观测状态st、采取的动作at、得到的奖励rt+1、下一时间步的观测状态st+1、选择动作的概率分布pit、动作掩码maskt以及episode是否结束donet，将{st,at,rt+1,st+1,pit,maskt,donet}作为一组经验； S5、经验池扩充 将每个episode按照对称的方式重置每一个时间步的状态，并将新的经验{st′,at′,rt+1,st′+1,pi′,mask′,done}放入经验池中，进行经验池的扩充，不进行额外episode生成但成倍增加经验，其中对称的方式重置经验池中的每一组经验是将其中有关于坐标的经验，以对称平面为基准，对称重置当前的三维空间，得到对应的初始观测信息，并按照步骤S2得到状态s′，相应的得到a′、s+1、pi′和mask′，而原本经验中的rt+1和done保持不变； S6、模型训练 使用基于PPO算法的强化学习模型进行训练，使用相同的策略对多个具有不同的木材序列进行码垛，在该过程中不断更新策略。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北林业大学，其通讯地址为：150040 黑龙江省哈尔滨市香坊区和兴路26号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。