三峡大学冉昌艳获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉三峡大学申请的专利一种融合深度学习特征匹配的同步跟踪与建图方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116228816B 。
龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310157589.5,技术领域涉及:G06T7/246;该发明授权一种融合深度学习特征匹配的同步跟踪与建图方法是由冉昌艳;李维文设计研发完成,并于2023-02-23向国家知识产权局提交的专利申请。
本一种融合深度学习特征匹配的同步跟踪与建图方法在说明书摘要公布了:一种融合深度学习特征匹配的同步跟踪与建图方法,它包括以下步骤:步骤S1、采集视觉前端图像,进行初始化;步骤S2、通过特征匹配估计运动位姿,跟踪局部地图,决定下一关键帧;步骤S3、依据关键帧信息,构建局部地图;步骤S4、回环检测和优化。本发明提供一种融合深度学习特征匹配的同步跟踪与建图方法,解决现有SLAM方法在动态、低纹理等环境中跟踪效果差、位姿解算误差大的技术问题。
本发明授权一种融合深度学习特征匹配的同步跟踪与建图方法在权利要求书中公布了:1.一种融合深度学习特征匹配的同步跟踪与建图方法,其特征在于,它包括以下步骤: 步骤S1:采集视觉前端图像,进行初始化; 步骤S2:通过特征匹配估计运动位姿,跟踪局部地图,决定下一关键帧; 步骤S3:依据关键帧信息,构建局部地图; 步骤S4:回环检测和优化; 在步骤S1中,使用双目相机采集视觉前端图像,使用LoFTR算法进行匹配,将匹配结果用作初始化跟踪线程,进行地图初始化; 在步骤S2中,通过特征匹配跟踪估计运动位姿,跟踪局部地图,决定下一关键帧; 具体包括以下步骤: 步骤S201:为保证跟踪主线程的实时性,使用ORB特征匹配,依次通过步骤S201-1、步骤S201-2、步骤S201-3三种跟踪模型进行帧间跟踪,输出相机位姿信息,用以局部地图跟踪;任一模型跟踪成功,等待该跟踪模型步骤完成后,进入步骤S202; 步骤S201-1:使用恒速模型进行跟踪,步骤如下: 步骤1利用上一帧解算的位姿,通过恒速运动模型估计当前初始位姿,保存当前恒速模型; 步骤2利用上一帧解算的临时地图点,投影到当前坐标系,将两帧中描述子进行匹配,当搜索到欧式距离小于阈值的匹配点数大于一定数量,则跟踪成功; 步骤3将重投影误差作为目标函数,使用最小二乘法优化当前帧位姿,剔除优化过程中的外点; 重投影误差计算公式如下: ; 其中e为重投影误差;P为上一帧特征点在世界坐标系的坐标,u为上一帧投影在当前帧的像素坐标,s为深度值与实际距离的转换参数,K为相机内参,为此时相机位姿对应的李代数,是从向量到矩阵的对数映射;以所有跟踪特征点重投影误差之和作为优化目标函数,使用最小二乘法优化; 步骤S201-2:参考上一关键帧信息进行跟踪,步骤如下: 步骤1选取具有共视关系的一级、二级关键帧参考; 步骤2使用词袋BoW加速当前帧与参考帧的匹配,如果搜索到欧式距离小于阈值的匹配点数大于一定数量,将上一帧位姿作为当前帧初始值; 步骤3使用重投影误差优化当前位姿并计算内点,若内点数大于一定数量则跟踪成功; 步骤S201-3:使用重定位进行跟踪,步骤如下: 步骤1计算当前帧BoW词袋向量,并用词袋找到相似的候选关键帧; 步骤2将候选关键帧与当前帧进行特征匹配和位姿估计; 步骤3进行重投影误差优化,内点数量大于一定数量,则认为跟踪成功; 步骤S201-1中临时地图点不计入地图点,在跟踪完毕后删除; 步骤S202:判断当前帧是否为关键帧;步骤S202条件如下: 条件1当前帧跟踪到的匹配点内点数与匹配点总数的比值小于阈值,插入关键帧; 条件2当前帧跟踪到的特征点少于一定数量,插入关键帧; 条件3当局部建图闲置,或不满足1、2任意一个条件时,每隔一定帧数插入关键帧; 满足以上任意条件,将当前帧判断为关键帧,进入步骤S3;同时进行步骤S203条件判断; 步骤S203:创建一个关键帧子线程;当新关键帧判定后,且与上一关键帧间隔帧数大于一定数量时,主线程继续进行,子线程开启; 步骤S203-1:在子线程中,使用LoFTR算法通过gpu运算进行匹配; 包括以下步骤: 步骤1使用LoFTR算法仅对关键帧中的左右目图像重新进行匹配,获取2D特征匹配坐标,筛选出置信度mconf大于阈值的匹配对; 步骤2使用Brief描述符提取器在特征点处提取描述符,计算特征点3D坐标,更新位姿信息; 步骤3在该关键帧信息中额外添加LoFTR计算结果,格式为[pose,points,mkpts,desp],pose为位姿信息、points为特征点3D坐标、mkpts为2D特征点,desp为描述符; 步骤S203-2:该子线程步骤S203-1计算完成时,进行判断: 条件1下一关键帧还未选定;将步骤S203-1中3D坐标与当前局部地图点取并集;将2D特征点、描述符与主线程中ORB求解该关键帧的信息取并集;替换主线程中该关键帧的位姿信息; 条件2下一关键帧已选定或局部建图线程空闲;将步骤S203-1中3D坐标与当前局部地图点取并集。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人三峡大学,其通讯地址为:443002 湖北省宜昌市西陵区大学路8号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励