买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉吉林大学申请的专利基于深度强化学习的钻井溢流早期识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120257060B 。

龙图腾网通过国家知识产权局官网在2025-09-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510742669.6，技术领域涉及：G06F18/241；该发明授权基于深度强化学习的钻井溢流早期识别方法是由韩霄松;蔡连宇;王萌;付加胜设计研发完成，并于2025-06-05向国家知识产权局提交的专利申请。

本基于深度强化学习的钻井溢流早期识别方法在说明书摘要公布了：本发明适用于石油钻井工程技术领域，提供了基于深度强化学习的钻井溢流早期识别方法，包括：首先进行数据收集与预处理，接着构建与优化基于近端策略优化（PPO）算法的钻井溢流早期识别模型，最后在钻井作业中实时采集数据预处理后输入模型，依据PPO算法分析特征量变化，按判别溢流钻井工艺流程判断是否有溢流迹象，若有则依Reward函数策略预警。本发明结合传统阈值法与机器学习，利用深度强化学习算法优化钻井参数阈值，实时监测特征量捕捉溢流前变化，自学习历史数据识别溢流模式，减少对现场操作人员依赖；同时注重展示模型决策逻辑，增强工程师理解与信任，为钻井作业提供更可靠的溢流监测保障，降低事故风险，保障井筒安全。

本发明授权基于深度强化学习的钻井溢流早期识别方法在权利要求书中公布了：1.基于深度强化学习的钻井溢流早期识别方法，其特征在于，包括以下步骤： 步骤1：数据收集与预处理； 使用真实钻井历史数据对收集的数据进行清洗；采用时间窗口法构建样本，选取出口和进口流量差、立压、甲烷、乙烷、泵冲和大钩高度六个特征量，计算时间窗口内特征量均值、斜率和方差，通过判断相邻窗口统计量变化是否超过阈值，确定是否为溢流并记录标签； 步骤2：基于近端策略优化算法的钻井溢流早期识别模型构建与优化，包括参数初始化、主迭代循环、策略参数更新、价值函数学习以及迭代循环步骤； 步骤3：钻井溢流早期识别； 将实时数据预处理后输入基于近端策略优化算法的钻井溢流早期识别模型；模型利用近端策略优化算法优化后的参数，分析出入口流量差、立压、甲烷、乙烷、泵冲和大钩高度的变化情况，通过判别溢流钻井工艺流程判断是否存在溢流迹象；若检测到溢流迹象，依据Reward函数确定的策略发出预警； 所述步骤2的具体流程如下： 步骤21：参数初始化； 设定超参数截断因子、策略更新子迭代次数M和值函数更新子迭代次数B；初始化策略参数θ和初始价值函数参数； 步骤22：主迭代循环； 从第1次迭代开始，即，每次迭代按以下顺序执行操作： 轨迹收集与奖励计算：在钻井环境中执行当前策略πθk，采集轨迹数据集Dk={τi}，并计算每个时间步的累积奖励Gt，其中τi为采集到的轨迹数据； 优势函数估计：基于当前价值函数Vϕk，采用优势估计方法计算各状态动作对的优势值At； 步骤23：策略参数更新； 进入策略优化阶段，通过以下子迭代过程更新策略参数： 对依次执行： 计算新旧策略的概率比： ； 式中，为新旧策略的概率比；为更新后的策略；为更新前的策略；θold为更新前的策略参数；为更新后的策略参数；为状态动作对的优势值；为时间步t所处的环境状态； 采用Adam优化器，通过随机梯度上升法最大化PPO的截断目标函数： ； 式中，为第k+1次策略优化后的策略网络参数；为迭代次数；为轨迹点；为轨迹集合；为时间步；为状态动作对的优势值；为新旧策略的概率比；为裁剪函数；为超参数截断因子； 步骤24：价值函数学习； 完成策略参数更新后，进入价值函数优化阶段，通过以下子迭代过程更新参数： 对依次执行： 采用梯度下降法最小化值函数的均方误差： ； 式中，为经过第k+1次策略优化后的价值网络参数；为价值网络对状态的估值；为每个时间步的累积奖励； 步骤25：迭代循环； 重复步骤22至步骤24，直至算法收敛或达到预设终止条件，得到优化后的模型； 所述步骤2中还包括Reward函数构建步骤，具体过程如下： 设定一个“甜区”，对位于甜区内标记点赋予最高得分，对甜区外但在溢流发生前和结束后的正常状态标记点赋予负数分数，对实际发生溢流的点给予远低于位于甜区内标记点分数的正数分数； 定义结构化动作空间： ； 式中，为动作空间，即所有可能的动作集合；为动作向量；为动作向量的每一维度；为实数集，为18维实数集； 评分函数公式如下： ； ； 式中，为评分函数；代表甜区内标记点个数；代表甜区外标记点为真实溢流点个数；代表甜区外标记点为非溢流点个数；代表符合方括号内条件的个数；为真实溢流点坐标；为模型预测的第i个溢流点在时间序列中的位置； 所述步骤3中，判别溢流钻井工艺流程具体如下： 首先检查出入口流量差或立压是否增大，若未增大，则当前流量变化可能是正常波动，若增大，检查甲烷或乙烷含量是否增多；若甲烷或乙烷含量增多，则判断存在溢流迹象，若未增多，检查泵冲是否增大；若泵冲增大，则当前流量变化可能是正常波动，若未增大，检查大钩高度是否减少；若大钩高度减少，则当前流量变化可能是正常波动，若未减少，则判断存在溢流迹象。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人吉林大学，其通讯地址为：130012 吉林省长春市前进大街2699号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。