买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京工业大学申请的专利一种基于深度学习的雷视融合智能感知方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117058361B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310330050.5，技术领域涉及：G06V10/26；该发明授权一种基于深度学习的雷视融合智能感知方法是由李嘉锋;黄万;郑永煜;卓力设计研发完成，并于2023-03-30向国家知识产权局提交的专利申请。

本一种基于深度学习的雷视融合智能感知方法在说明书摘要公布了：本发明提供了一种基于深度学习的雷视融合智能感知方法。本发明设计初衷是与图像分割算法进行配合以实现对交通环境更加准确和鲁棒的感知。考虑到激光雷达数据的采集速度，目前大多数精度较高的点云分割方法在速度方面都有所欠缺。而能匹配激光雷达的数据采集速度的点云分割算法在精度方面却达不到要求，在交通环境的感知应用上捉襟见肘。为了与激光雷达配合使用达到对交通环境进行实时的感知，设计一种既保证效率又兼顾精度的雷视融合智能感知方法仍是目前亟需解决的问题。

本发明授权一种基于深度学习的雷视融合智能感知方法在权利要求书中公布了：1.一种基于深度学习的雷视融合智能感知方法，其特征在于：包括透视投影与雷视融合智能感知网络； 所述透视投影，具体步骤如下： 提出基于透视投影的融合方法，把激光点云数据投影到相机坐标系下，投影过程借助已知的标定参数来实现；对于投影之后的每个激光雷达点，保留d,x,y,z,r五个维度的特征；其中d＝表示每个点到激光雷达的距离值，x,y,z为点云的三维空间坐标，r为点云的反射率值； 所述雷视融合智能感知网络部分，包括图像特征提取网络、激光点云特征提取网络、融合模块、空洞空间金字塔池化模块、坐标注意力模块；其中坐标注意力模块属于图像特征提取网络，空洞空间金字塔池化模块属于激光点云特征提取网络； 该雷视融合智能感知网络首先使用透视投影将激光雷达原始点云投影到相机坐标中；然后，分别使用图像特征提取网络和激光点云特征提取网络提取多模态数据的特征，并将多模态特征通过四个融合块进行融合；并在图像特征提取模块末尾加上坐标注意力模块以更好的提取图像特征，在激光点云特征模块中间加入空洞空间金字塔池化模块以提取融合后的特征的不同尺度的空间信息；最后通过将图像损失函数和激光点云损失函数进行网络的训练，量化两种模式之间的感知差异，帮助网络学习到不同模态的感知特征； 图像特征网络整体分成编码器和解码器；其中编码器由Resnet-34构成，由一个7×7卷积模块以及四层卷积层layer1至layer4构成；其中第二层、第三层以及第四层采取残差结构；相比VGG网络，复杂度降低，所需的参数量下降；并引入跳跃连接以解决网络深度过深所引起的梯度消失；编码器网络输入特征大小为3×1024×256C×W×H经四次下采样操作后输出大小为512×64×16C×W×H的特征；在编码器网络部分采取跳跃连接的方式，每一次下采样都会有一个跳跃连接与对应的上采样进行级联，在解码器网络部分经过四次上采样操作后输出与输入特征相同分辨率大小的特征；并在解码器的最后加入坐标注意力机制以获取某一个空间方向上的依赖关系，帮助网络更准确的定位需要关注的区域，最终通过Softmax激活函数输出结果； 激光点云特征提取网络整体结构采用U-Net架构，整体网络由三个上下文模块、五个残差模块、四个融合模块、一个空洞空间金字塔池化模块、四个上采样模块以及一个1×1卷积模块构成；将原始的三维点云信息通过投影，保留d,x,y,z,r五个维度的特征，其中表示每个点到激光雷达的距离值，x,y,z为点云的三维空间坐标，r为点云的反射率值；以此作为网络的输入，输入特征大小为5×1024×256C×W×H利用三个上下文模块和五个残差模块将输入特征进行升维和下采样操作，得到大小为256×64×16C×W×H的特征，与此同时使用四个融合模块将图像特征提取网络中的图像特征与激光点云特征进行融合，把融合的特征作为激光点云投影特征的补充；然后使用空洞空间金字塔池化模块来捕捉不同尺度的特征的上下文信息，从而增加特征的多尺度上下文信息；最后使用1×1卷积进行整合，通过softmax激活函数得到输出结果； 融合模块中首先分别将图像特征和点云特征用上下文模块处理后以获得含有丰富上下文信息的全局特征1、2以及3，然后将特征1和特征2进行级联操作后得到特征4，特征4经过卷积以及激活函数作用后得到特征5，其中特征5再经过两次卷积操作以及两次激活函数作用后得到特征6；然后将特征5与特征6进行逐元素相乘后得到特征7；最终将特征7与特征3进行逐元素相加操作得到最后的输出特征； 空洞空间金字塔池化模块最开始是一个1×1的卷积层，进行降维，得到特征8；同时给定膨胀因子，叠加相应的空洞卷积层，提取不同尺度下的特征，分别得到特征9、特征10以及特征11，同时通过池化操作后得到特征12和特征13，然后将特征13进行1×1卷积操作和上采样操作后得到特征14，最后将特征8、特征9、特征10、特征11、特征12以及特征14级联在一起后再通过1×1卷积操作进行维度匹配后输出最终的结果； 坐标注意力机制模块将全局平均池化操作分解为成水平和竖直两个方向的平均池化操作；对于输入为C×H×W的特征图，沿着水平坐标对每个通道进行编码，xch,i代表在第c个特征图上h,i坐标对应的值，水平方向的平均池化公式如下： 得到的输出是C×H×1，同时对输入特征图沿着竖直坐标对每个通道进行编码，数值方向的平均池化公式如下： 得到的输出是C×1×W，将维度调换并于水平方向输出拼接成C×1×W+H的特征向量，然后经过卷积、归一化、Relu非线性激活之后，再拆分成C×H×1与C×1×W的特征图，分别经过Sigmoid激活函数之后，与原输入特征图相乘，得到经过坐标注意力机制加权之后的特征图C×H×W。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京工业大学，其通讯地址为：100124 北京市朝阳区平乐园100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。