买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利一种基于多模态融合的前视道面障碍物检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117058655B 。

龙图腾网通过国家知识产权局官网在2026-02-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311020123.7，技术领域涉及：G06V20/58；该发明授权一种基于多模态融合的前视道面障碍物检测方法是由于军胜;杨淼;周凌伟;彭真明设计研发完成，并于2023-08-14向国家知识产权局提交的专利申请。

本一种基于多模态融合的前视道面障碍物检测方法在说明书摘要公布了：本发明公开了一种基于多模态融合的前视道面障碍物检测方法，属于激光点云与视觉图像的特征融合及目标检测领域；在获取点云数据及视觉图像的数据后，首先进行数据集的标注；再对点云进行地面去除，并采用变换矩阵，将点云从三维变换投影到二维，保留点云的深度信息和反射信息，得到稀疏的点云深度图和反射图；然后对深度图和反射图进行预处理，完成点云数据的目标增强，得到点云图像；最后采用深度学习的方式，将点云图像和视觉图像输入到双输入自适应特征融合的目标检测网络中，进行训练并优化，输出最终的检测结果；本发明解决了现有道面障碍物检测方法对障碍物难以进行准确检测，以及检测鲁棒性差的问题。

本发明授权一种基于多模态融合的前视道面障碍物检测方法在权利要求书中公布了：1.一种基于多模态融合的前视道面障碍物检测方法，其特征在于，包括如下步骤： 步骤1：获取k幅大小为m×n的视觉图像和对应的点云数据； 步骤2：根据视觉图像，对道面障碍物进行标注； 步骤3：对点云数据进行地面去除，得到无地面的点云数据； 步骤4：根据步骤3的结果，利用坐标变换矩阵，把点云数据从三维变换投影到与视觉图像匹配的二维范围内，得到稀疏的点云深度图像和稀疏的点云反射图像； 步骤5：根据步骤4的结果，对深度图像和反射图像进行预处理，得到目标增强后的深度图像和反射图像，并将其按照,,进行拼接，得到点云图像； 步骤6：根据步骤5的结果，利用双输入自适应特征融合障碍物检测网络，将点云图像和视觉图像输入到网络中进行训练，得到分类结果和目标框，并输出结果； 步骤2的具体步骤如下： 步骤2.1：在得到点云数据及图像数据后，结合具体路况，将道面障碍物一共分为六大类，分别为小汽车、自行车、行人、有轨电车、交通锥桶、贴有警示条的障碍物； 步骤3的具体步骤如下： 步骤3.1：利用随机采样一致性原理进行点云数据集的地面模型估计，对点云数据中的地面进行三维拟合，地面模型为平面，平面在三维空间中的结构为： ， 其中x，y，z为三维坐标系的坐标轴，a，b，c为坐标轴系数和常数项系数； 步骤3.2：平面拟合的过程为在总的点云数据集中随机筛选出一个子集作为内点，并以内点进行平面的拟合； 步骤3.3：通过步骤3.2得到的结果去测试其他的点云数据，将测定垂直距离与设定的阈值进行对比，若符合条件则为内点，否则为外点； 步骤3.4：继续平面拟合的过程，测试新的模型，对比旧模型的训练结果若有更多的内点，则保存新的模型，否则继续保存旧模型； 步骤3.5：重复步骤3.2，步骤3.3，步骤3.4的过程，直到满足迭代条件或者满足迭代次数； 步骤3.6：将满足条件的模型及内点在点云数据去除，留下去除路面的点云数据； 步骤3.7：利用步骤3.6得到的去除路面后的点云数据，再次重复步骤3.2，步骤3.3，步骤3.4，步骤3.5的过程，得到既去除路面又去除人行道的点云数据； 所述步骤4的具体步骤如下： 步骤4.1：提取KITTI数据集中的calib文件用于点云数据与图像数据的校准，根据calib文件中的数据，将点云数据从雷达三维坐标系变换到2号相机二维坐标系，2号相机为左侧彩色相机，变换投影公式为： ， 其中，y为点云数据变换到2号相机的二维坐标值，x为点云数据的雷达三维坐标值，为0号相机坐标系到2号相机的像素坐标系的转换参数，0号相机为左侧灰度相机，为0号相机的修正矩阵，为0号相机的外参矩阵，用于将数据从雷达坐标系转换到0号相机坐标系； 步骤4.2：将点云进行数据匹配后，删除超过视觉图像范围的点云数据，与视觉图像内容保持一致； 步骤4.3：对步骤4.2的处理结果，保留点云数据的深度信息，得到稀疏的点云深度图像； 步骤4.4：对步骤4.2的处理结果，保留点云数据的反射强度信息，得到稀疏的点云反射图像。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新区(西区)西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。