大连理工大学李宝军获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉大连理工大学申请的专利一种基于双目视觉的海上穿梭油船状态监测与预警的方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115482260B 。
龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211108395.8,技术领域涉及:G06T7/285;该发明授权一种基于双目视觉的海上穿梭油船状态监测与预警的方法是由李宝军;伍泽设计研发完成,并于2022-09-13向国家知识产权局提交的专利申请。
本一种基于双目视觉的海上穿梭油船状态监测与预警的方法在说明书摘要公布了:本发明提供了一种基于双目视觉的海上穿梭油船状态监测与预警的方法。利用棋盘格标定板对双目相机的内外参数进行标定,同时对激光雷达和左相机进行联合标定得到坐标系之间刚性变换矩阵;利用实地采集的点云‑图像数据构建油气开采平台‑穿梭油轮外输作业场景的深度估计数据集和三维检测数据集;训练深度学习算法,通过以双目图像的输入对穿梭油船的三维位姿信息和深度进行估计;划定相对距离和相对夹角的安全范围与等级,根据实时的监测结果发出相应等级的预警,提醒操作员及时做出相应调整措施,有效的防止了外输作业时穿梭油船与开采平台发生碰撞的情况发生。
本发明授权一种基于双目视觉的海上穿梭油船状态监测与预警的方法在权利要求书中公布了:1.一种基于双目视觉的对海上穿梭油船状态监测与预警的方法,其特征在于,步骤如下: 步骤1,双目相机内外参标定,激光雷达和双目相机联合标定,获得激光雷达坐标系、相机坐标系和图像坐标系之间的变换矩阵; 1.1制作棋盘格标定板,使用激光雷达和双目相机对棋盘格标定板进行联合采集,获得对于棋盘格标定板的点云数据和图像数据; 1.2对点云数据中除棋盘格标定板以外的所有点云进行手动滤除,得到只含有棋盘格标定板点云的点云数据; 1.3使用含有棋盘格标定板的双目图像数据来标定双目相机的内外参数矩阵,得到包括相机内参矩阵、畸变系数和左、右相机坐标系之间刚性变换的外参旋转矩阵与平移矩阵; 1.4由步骤1.1得到的图像数据和步骤1.2经过滤除处理之后的点云数据进行激光雷达和双目相机的联合标定,得到激光雷达坐标系与相机坐标系之间刚性变换的旋转矩阵和平移矩阵; 步骤2,将激光雷达所采集的点云数据通过步骤1.3的左相机内参矩阵和步骤1.4得到的激光雷达坐标系到相机坐标系的变换矩阵,变换成对应的深度图数据,构建用于双目深度估计数据集; 2.1对实际穿梭油船外输作业工作场景使用激光雷达和双目相机针对穿梭油船进行联合采集,并且对每一帧的点云数据和图像数据进行时间软同步; 2.2将步骤2.1的点云数据通过由通过步骤1.4得到的激光雷达坐标系到相机坐标系的变换矩阵投影到相机坐标系之下; 2.3将由步骤2.2得到的相机坐标系之下的点云数据经过步骤1.3得到的相机内参矩阵,获取与双目相机视野范围所对应的点云数据;将该点云数据从相机坐标系转换到图像坐标系当中,生成激光雷达点云数据在图像中的二维投影,得到深度图; 2.4对由步骤2.3得到的深度图进行深度补全,获得稠密连续的深度图,该深度图用于构建深度估计数据集; 步骤3,将步骤2.1得到的点云数据对穿梭油船进行三维标注,标注信息以与步骤2.2同样的方式变换到相机坐标系中表示,标注信息与双目图像共同构建用于双目三维检测的数据集; 3.1对由步骤2.1中双目相机采集到的图像数据,进行数据清洗和筛选,去除低质量模糊双目图像数据; 3.2对由步骤2.1中激光雷达采集的点云数据进行穿梭油船三维框的标注,得到穿梭油船的类别C,三维框标注信息包括三维框中心点坐标XO、YO和ZO,三维框的长length、宽width和高height,三维框的朝向R'y; 3.3通过步骤3.2得到的三维框标注信息,计算三维框8个角点的三维坐标值,X坐标计算公式如下: Y坐标计算公式如下: Z坐标计算公式如下: 3.4将步骤3.3得到的8个角点的三维坐标通过与步骤2.2相同的方法变换到相机坐标系之下; 3.5由步骤1.3获得的双目相机内参矩阵、畸变系数和外参旋转矩阵与平移矩阵、步骤1.4得到的激光雷达坐标系到相机坐标系的旋转矩阵与平移矩阵和步骤3.2-3.4系列操作得到的相机坐标系下的穿梭油船三维框标注信息构成双目三维检测的数据集; 3.6将步骤3.5双目三维检测的数据集按照训练集:验证集:测试集按比例进行划分; 步骤4,基于步骤2.4的深度估计数据集和步骤3.5的双目三维检测的数据集训练深度学习算法并且使用该深度学习算法对穿梭油船的深度和三维位姿进行预测; 4.1对于步骤3.5双目三维检测的数据集中的双目图像进行特征提取,得到图像中穿梭油船的特征信息; 4.2由步骤4.1得到的特征构造平面扫描体积,基于平面扫描体积计算匹配损失,匹配像素i分别在双目图像的左右图像中的水平距离,该水平距离即为视差disp,构造基于视差的计算损失; 4.3根据步骤4.2的视差disp,将其转换为深度depth数据并计算所有深度候选的期望,以步骤2.4获得的深度估计数据作为监督信息,回归出图像每个像素点对应的深度值;视差与深度的转换公式为: 式中fx和baseline分别是相机的横向焦距和基线距离,都是通过步骤1.4获得; 4.4由步骤1.4获得的相机内参矩阵包括横向焦距fx、纵向焦距fy和主点实际位置cu、cv四个参数,通过逆三维投影,将步骤4.2平面扫描体积的最后一个特征映射从相机坐标系u,v,d转换到世界坐标系x,y,z: 4.5取与步骤3.2-3.4系列操作得到的穿梭油船三维框标注真值之间距离最近的N个锚点为正样本,定义与前述锚点所对应的锚框和真实三维框8个角点之间的距离之和为损失函数,实现对穿梭油船三维框的回归; 步骤5,双目相机安装位置标定,转换步骤4.5的检测结果,并根据转换结果实时进行预警; 5.1标定双目相机与油气开采平台的相对位置坐标,将步骤4.5中的穿梭油船三维框由相机坐标系转换到平台坐标系,得到穿梭油船与开采平台之间的相对位姿; 5.2根据步骤5.1计算出穿梭油船前端与油气开采平台之间的直线距离和穿梭油船最前端与开采平台之间的夹角; 5.3划定距离与夹角的安全范围与等级,一旦监测结果显示穿梭油船进入相应危险预警状态,系统发出对应紧急程度的警报。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连理工大学,其通讯地址为:116024 辽宁省大连市甘井子区凌工路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。