买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利一种基于多模态融合的缺陷检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117036326B 。

龙图腾网通过国家知识产权局官网在2026-01-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311061033.2，技术领域涉及：G06T7/00；该发明授权一种基于多模态融合的缺陷检测方法是由于军胜;周凌伟;杨淼;彭真明设计研发完成，并于2023-08-22向国家知识产权局提交的专利申请。

本一种基于多模态融合的缺陷检测方法在说明书摘要公布了：本发明公开了一种基于多模态融合的缺陷检测方法，首先进行数据集标注，接下来将点云数据于视觉图像的视角相匹配，生成反射强度图。以经典的YOLO结构网络为基础，将原始的单输入BackBone修改为反射强度图及视觉图像双输入的BackBone。分别引出不同尺度下反射信息和视觉图像的特征层，并将两者进行特征融合。将融合的特征结果引入FPN结构，同时添加检测头。结合标注的缺陷信息进行模型训练。在检测过程中，对点云数据采用随机采样一致算法保留地面信息。同时结合点云深度信息与视觉图相匹配，得到缺陷深度信息。本发明对现有目标检测算法对缺陷难以准确检测，以及深度信息难以得到的问题进行了有效优化。

本发明授权一种基于多模态融合的缺陷检测方法在权利要求书中公布了：1.一种基于多模态融合的缺陷检测方法，其特征在于：主要包括以下几个步骤： 步骤1：获得对应的待检测的点云及图像信息； 步骤2：对已有的图像进行缺陷标注； 步骤3：点云数据处理，结合相机的参数，将点云的数据与视觉图像进行尺度匹配，并生成点云的反射强度图； 步骤4：对经典单阶段YOLO目标检测模型进行优化，将原始的视觉图像单输入BackBone修改为反射强度及视觉图像双输入的BackBone，同时引入基于信息熵特征的特征融合模块，并在将不同尺度的特征层进行按通道融合，后续引入FPN及Detect结构，结合标注的数据集，对修改后的模型进行训练； 步骤5：利用RANSAC算法对点云数据进行保留地面处理，再利用训练后的模型进行检测，得到最后的检测缺陷检测结果； 步骤6：对测试的结果进行三维尺度定位，三维尺度定位包括双目距离定位、基于深度图的投影定位将三维点云数据进行尺度匹配后保留深度信息，生成与图像相匹配的深度图，以缺陷检测框中心位置为主，将深度图中距离最近的深度信息作为缺陷的实际距离，同时测试缺陷的双目检测方法，通过双目相机的参数获取、立体校正、立体匹配及深度图的获取得到对应缺陷的三维信息； 步骤2的具体步骤如下： 步骤2.1：在得到点云及图像数据后，结合具体路况，将检测的缺陷一共分为四大类，分别为单缝裂痕、网状裂痕、坑洼、人为地面下沉；其中单缝裂痕包括纵向和横向裂痕；人为地面下沉为由于路面功能完整而人为导致的地面缺陷情况，包括人为设置的路面井盖或排水渠； 步骤3的具体步骤如下： 步骤3.1：提取点云数据中的calib文件用于点云数据的标定，其中为相机的内参矩阵，0、1、2、3依次分别为左侧灰度相机、右侧灰度相机、左侧彩色相机及右侧彩色相机；为0号相机的修正矩阵，为点云数据到相机的矩阵，包括了旋转矩阵R以及平移矩阵t，将点云数据投影到第i个相机体系下的转换公式为： ； 其中x为点云的空间三维坐标； 步骤3.2：将点云进行数据匹配后，删除多余的点云信息，与视觉图像内容保持一致； 步骤3.3：在步骤3.2的处理结果上，对点云数据保留高度差信息图，对所得到的高度差信息图进行插值处理，得到处理后的稠密化点云图； 步骤3.4：在步骤3.2的处理结果上，保留点云的反射强度信息，并按照反射强度信息生成彩色的反射强度图。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新区(西区)西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。