合肥工大高科信息科技股份有限公司魏臻获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉合肥工大高科信息科技股份有限公司申请的专利一种基于4D雷达和图像识别融合的障碍物检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117471463B 。
龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311427718.4,技术领域涉及:G01S13/931;该发明授权一种基于4D雷达和图像识别融合的障碍物检测方法是由魏臻;谢宝;陆阳;徐自军;徐伟;邢星;孟凡卫;孟圆圆设计研发完成,并于2023-10-30向国家知识产权局提交的专利申请。
本一种基于4D雷达和图像识别融合的障碍物检测方法在说明书摘要公布了:本发明涉及智能辅助驾驶领域,具体涉及一种基于4D雷达和图像识别融合的障碍物检测方法,包括对4D毫米波雷达和摄像头进行联合标定;采集毫米波雷达点云数据,并滤除噪声点包括地面点云,体素化为柱体后通过雷达主干网络提取多尺度的BEV特征;通过摄像头采集图像数据,并输入到深度卷积网络提取图像多尺度PV特征;利用雷达BEV特征图预测雷达3D占用网格;基于雷达3D占用网格将图像PV特征提升到3D空间,获得图像的BEV特征图;将雷达BEV特征和图像BEV特征融合,通过检测头预测3D边界框。本发明有效的融合了4D毫米波点云和摄像头图像特征,相比单一模式的三维目标检测,可以得到更准确的三维目标检测结果。
本发明授权一种基于4D雷达和图像识别融合的障碍物检测方法在权利要求书中公布了:1.一种基于4D雷达和图像识别融合的障碍物检测方法,其特征在于,包括以下步骤: 步骤一,标定相机的内部参数及4D雷达的外部参数; 步骤二,采集毫米波雷达点云数据,并滤除噪声点,保留障碍物点云,使用SECOND网络构建雷达主干和颈部,雷达主干从体素化柱中提取多尺度BEV特征,捕获雷达模态固有的空间和上下文信息,雷达颈部将这些多尺度特征聚合成一个尺度,生成雷达BEV特征图; 步骤三,通过摄像头采集图像数据,并输入到构建出的障碍物检测模型的主干提取图像的多尺度PV特征,得到图像PV特征图;提取的图像的多尺度PV特征通过1×1卷积,将通道转换为深度网络区间,得到多尺度图像深度分布图; 步骤四,利用雷达BEV特征图预测雷达3D占用网格,其中3D占用网格具体包括: 3D占用网格为: 其中,表示输入通道为CP,CP表示通道的数量,输出通道为的1×1卷积,Sigmoid表示激活函数,Z为预定义的3D占用网格的高度,X和Y表示雷达BEV特征图的维度; 步骤五,基于雷达3D占用网格将图像PV特征提升到3D空间,获得图像的BEV特征,其具体包括: 将预定义的3D体素的坐标投影到图像平面,并通过对图像PV特征图进行双线性采样来得到图像的3D体素特征; 对多尺度图像深度分布图进行三线性采样,得到雷达坐标系中的体素采样深度概率; 将图像的3D体素特征和体素采样深度概率按元素相乘,得到深度辅助图像3D特征; 将深度辅助图像3D特征与3D占用网格相乘,得到雷达辅助图像3D特征; 将深度辅助图像3D特征和雷达辅助图像3D特征沿通道维度拼接后在尺度维度求和,并通过1×1卷积调整通道数,得到图像的BEV特征; 步骤六,将雷达的BEV特征和图像的BEV特征进行拼接,并通过卷积运算进行融合后,使用一个检测头来预测3D边界框,基于预测的边界框确定机车的位置和方向。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人合肥工大高科信息科技股份有限公司,其通讯地址为:230088 安徽省合肥市高新区习友路1682号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。