买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东师范大学申请的专利基于多模态融合感知的自动驾驶场景全景分割方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116129233B 。

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310153288.5，技术领域涉及：G06V10/80；该发明授权基于多模态融合感知的自动驾驶场景全景分割方法是由余谦;马利庄;张志忠;谭鑫设计研发完成，并于2023-02-23向国家知识产权局提交的专利申请。

本基于多模态融合感知的自动驾驶场景全景分割方法在说明书摘要公布了：本发明公开了一种基于多模态融合感知的自动驾驶场景全景分割方法，其方法包括四个步骤，首先利用图像语义分割网络获得自动驾驶场景相机图像的特征图，然后将点云投影到上述特征图上，得到点云的二维特征。然后同时将上述特征与点云的三维特征一起作为主干网络的输入。其次，在主干网络底层按相机视野划分，与特征图配对后平铺成序列送入一个多头自注意力网络中，学习两个不同模态信息的关联性。最后，主干网络输出聚类信息，在进行聚类时使用多层感知机学习聚类中心的余弦相似度来判断多个中心是否应该归并。本发明解决了自动驾驶场景下的全景分割任务无法良好使用多模态信息的问题，使用两种层次的融合大大增强了语义信息的学习。

本发明授权基于多模态融合感知的自动驾驶场景全景分割方法在权利要求书中公布了：1.一种基于多模态融合感知的自动驾驶场景全景分割方法，其特征在于，该方法包括以下具体步骤： 步骤1：图像特征生成与投影 A1：使用从车载传感器接受到的周围环境的RGB图像信息与激光雷达点云信息构建数据集；将数据集中一个场景的数张相机图片一起输入一个预训练好的图像语义分割网络中，获得数个最小尺寸的二维特征图和半尺寸的二维特征图；所述图像语义分割网络在训练过程中固定所有参数； A2：根据传感器在采样车上的相对位置关系构建出转化矩阵，将点云投影到对应半尺寸二维特征图上，根据投影后点云所在的像素坐标获取特征图上的特征，构成点云的图像特征，无法投影到二维特征图的点云直接过滤，能同时投影到多张二维特征图上的点云，随机使用一张二维特征图获取特征； 步骤2：主干网络特征初始化与训练 B1：在步骤1中获取到点云的图像特征与原始点云数据自带的三维坐标几何特征后，将点云的图像特征经过一个能缩小维度的多层感知机，将点云的几何特征经过一个能放大维度的多层感知机，使两种特征达到相同维度，然后再按空间网格划分，用分开的池化消除两种模态数据中点数不一致的问题，最后再将每个网格的两种模态特征加在一起，得到多模态融合后的网络初始化输入特征，使用极坐标系下的圆柱状网格作为主干网络数据结构进行特征学习； B2：使用focalloss与交叉熵损失训练网络语义分割分支，使用L2损失训练中心点概率回归与中心点坐标偏差回归； 步骤3：主干网络底层高维度特征融合 C1：取出主干网络最底层的三维特征图，利用车载设备上相机的朝向角度信息，将所述三维特征图按极坐标角度划分成与相机数量相同的数个区域，每个区域与A2中的一个最小尺寸的二维特征图对应，将对应的区域内的三维特征与二维特征平铺并连接到一起，形成一个序列化信息； C2：使用三维网格中心在整体空间中的绝对位置和最小尺寸二维特征图上的像素坐标构成所述序列化信息的位置编码，将所述序列化信息加上该位置编码后送入一个线性复杂度的多头自注意力机制网络中，在保持特征维度不变的情况下学习高维度跨模态信息融合； 步骤4：网络输出结果整合与修正 D1：网络输出网格级别语义分割预测，为三维空间中每个存在点云的网格打上语义类别标签，然后根据每个点云所在的网格类别标签，再为每个点云打上语义类别标签，由此得到输入点云数据中的每个点的所属类别，完成点级别的语义分割预测； D2：网络输出鸟瞰图视角下的中心点概率预测图，使用核大小为5的最大池化进行过滤，得出候选中心点的坐标；根据A2步骤中构建出的转化矩阵，将候选中心点投影到对应半尺寸二维特征图的对应像素上，获取中心点所在位置的二维图像特征，将所述的二维图像特征经过一个多层感知机学习每个中心点与其他中心点两两之间余弦相似度，通过一个阈值来对语义分割结果为大物体的中心点进行归并得到最终的实例目标中心，提升大物体的聚类效果；其中，所述大物体为公交车，卡车、消防车以及其他工程建筑车辆； D3：网络输出鸟瞰图视角下每个网格离所属中心点的坐标偏差，对于所有有点存在的网格，其坐标加上网络输出的偏差，得到新的网格位置，然后计算距离其最近的中心点，所有属于同一个中心点的网格被视作为一个单个的实例，该实例的语义类别由该实例所有点的语义类别标签进行主成分投票得出，最终得到的输出结果为将语义分割结果为背景类别的点打上对应的类别标签，将语义分割为前景的点同时打上类别标签和实例序号，预测出该实例在其所属场景及所属类别下的序号。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东师范大学，其通讯地址为：200241 上海市闵行区东川路500号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。