电子科技大学殷春获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉电子科技大学申请的专利基于点云信息手眼标定的复杂外形大工件彩色三维重建方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115588053B 。
龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211324517.7,技术领域涉及:G06T7/80;该发明授权基于点云信息手眼标定的复杂外形大工件彩色三维重建方法是由殷春;谭旭彤;高延;陈凯;闫中宝;刘俊杰设计研发完成,并于2022-10-27向国家知识产权局提交的专利申请。
本基于点云信息手眼标定的复杂外形大工件彩色三维重建方法在说明书摘要公布了:本发明公开了一种基于点云信息手眼标定的复杂外形大工件彩色三维重建方法,利用结构光双目视觉系统结合图像融合,使得在保证三维重建精度的前提下,结合双目结构光系统配置灵活,测量效率高的优势,实现高精点云数据的快速获取。在此基础上,结合彩色相机赋予点云真实的颜色纹理特征信息,并结合机械臂辅助模块,高效测量大工件的多个视角下的点云数据。此外,利用双目视觉能够直接获取点云信息的优势,利用点云的坐标信息来完成手眼标定。相比于传统的基于标定板的手眼标定,直接且充分利用点云数据的优势,避免了多次坐标系变换过程,标定过程更加高效且精度得到保证。
本发明授权基于点云信息手眼标定的复杂外形大工件彩色三维重建方法在权利要求书中公布了:1.一种基于点云信息手眼标定的复杂外形大工件彩色三维重建方法,其特征在于,包括: 1、利用机械臂辅助高分辨率双目灰度相机对大工件即被测对象进行三维形貌重建,获取被测对象各个视角下无颜色三维点云,记录为其中,obj表示被测对象,i表示第i次拍摄,I表示拍摄总次数,同时,记录每次拍摄时,机械臂末端位置的6个状态参数,记为其中,为机械臂末端位置的位置坐标,为机械臂末端位置的旋转坐标; 利用光学RGB相机在机械臂末端位置上拍摄一张低分辨率彩色图像,记为 2、对获取的各张低分辨率彩色图像执行基于目标导向的分区域插值算法,从而将低分辨率彩色图像的分辨率和双目视觉系统中高分辨率双目灰度相机获得的灰度图像分辨率进行统一 2.1、用表示双目视觉系统获取的左相机灰度图像,其中x,y表示左相机灰度图像中的第x行、第y列像素的坐标位置,Mh和Nh表示左相机灰度图像的图像大小,即左相机灰度图像总像素值为Mh×Nh,简单表示为 将低分辨率彩色图像进行配准后的彩色图像表示为其中ul',vl'表示彩色图像中的第ul'行、第vl'列像素的坐标位置,Ml和Nl表示彩色图像的图像大小,即彩色图像总像素值为Ml×Nl,简单表示为 2.2、利用边缘检测算法得到彩色图像中被测对象的边界点集ED,然后,对边界点集ED进行图像膨胀以扩大边界得到边界点集EDexp: EDexp=imdilateED 利用膨胀后的边界点集EDexp划分彩色图像的区域为目标区域Zoneobj、背景区域Zoneback和边界区域Zoneedge; 2.3、对空白的高分辨率彩色图像进行坐标变换和映射,实现与高分辨率的左相机灰度图像的分辨率统一: 首先创建一个和左相机灰度图像具有相同分辨率的待确定像素点像素值的空白的高分辨率彩色图像简单表示为 然后进行由高分辨率彩色图像中像素点的坐标uh,vh到低分辨率的配准后的彩色图像中像素点的坐标u,v的向后变换: 2.4、根据向后变换得到的彩色图像中像素点的坐标u,v以及步骤2.2划分的点集,对高分辨率彩色图像中每个像素点的像素值进行赋值,即根据高分辨率彩色图像每个像素点的坐标uh,vh向后映射的像素点的坐标u,v,确定高分辨率彩色图像每个像素点的坐标uh,vh的像素值具体为; a、如果坐标{u,v}∈Zoneback,那么该像素点位于背景区域,对其插值质量要求最低,则其像素值为其坐标uh,vh映射后彩色图像中坐标u,v处于的四邻域中的最近邻点的像素值; b、如果坐标{u,v}∈Zoneobj,那么该像素位于目标区域,其像素值为: 其中,ul′,vl′、ul′+1,vl′、ul′,vl′+1、ul′+1,vl′+1表示彩色图像中坐标u,v的四个邻域像素点的坐标, 示四个邻域像素点的像素值,w11,w12,w21,w22为权重系数,它们由其所处位置和距离各自最近的边界区域Zoneedge像素点的相对距离决定,即: 其中,11ue′d,11ve′d、21ue′d,21ve′d、12ue′d,12ve′d、22ue′d,22ve′d分别为距离坐标ul′,v′l、ul′+1,vl′、ul′,vl′+1、ul′+1,vl′+1位置最近边界区域Zoneedge像素点的坐标,PP表示求两个坐标的距离; c、如果坐标{u,v}∈Zoneedge,那么该像素位于边界区域,像素值根据向后变换得到的彩色图像中像素点的坐标u,v,采用二维三次样条插值算法确定; 2.5、边界区域像素值进行修正: 对于映射后的坐标{u,v}在边界区域Zoneedge,但不属于边界点集ED的像素值采用加权平均像素值进行修正:如果映射后的坐标{u,v}在背景区域Zoneback一侧,则按照步骤2.4a获得像素值,再与依据步骤2.4c获得像素值加权平均进行修正,如果映射后的坐标{u,v}在目标区域Zoneobj一侧,则按照步骤2.4b获得像素值,再与依据步骤2.4c获得像素值加权平均进行修正; 3、利用图像融合算法将各张统一分辨率后的高分辨率彩色图像和其对应的高分辨率的左相机灰度图像进行图像融合,得到赋予了颜色和纹理信息的融合图像Fi obj; 4、对于每一张融合图像Fi obj,基于双目视觉原理,将融合图像Fi obj中的每一个坐标上的3通道颜色信息值映射到无颜色三维点云中对应的空间坐标位置上,得到带有颜色信息的RGB三维点云实现点云彩色化; 5、利用标准球对机械臂末端位置和双目视觉系统之间的转换矩阵Hgc进行标定 5.1、保持标准球和机械臂基座之间的位置相对不变,利用机械臂辅助高分辨率双目灰度相机对标准球进行多次三维形貌重建,获取标准球各个视角下的三维点云,记录为其中n表示第n次拍摄,N表示拍摄总次数,同时记录每次拍摄时机械臂末端位置的6个状态参数,并记为其中,为机械臂末端位置的位置坐标,为机械臂末端位置的旋转坐标; 5.2、对标准球的每个三维点云进行球体拟合,获取每个三维点云的球心三维坐标 5.3、利用每次拍摄时,机械臂末端位置的6个状态参数,计算每次拍摄时机械臂基座坐标系和机械臂末端坐标系之间的变换矩阵: 其中,Rn=RZ_n*RY_n*RX_n, 5.4、基于球心三维坐标和对应的变换矩阵建立目标函数: 利用优化算法优化上述最小化问题,求解出最优的转换矩阵Hgc,完成转换矩阵标定; 6、利用标定出来的机械臂末端位置和双目视觉系统之间的转换矩阵Hgc对带有颜色信息的RGB三维点云进行拼接 6.1、基于拍摄被测对象时,记录下的机械臂的末端位置6个状态参数计算变换矩阵 其中,Ri=RZ_i*RY_i*RX_i, 6.2、对带有颜色信息的RGB三维点云中的每个像素点进行旋转平移: 其中,为第i个RGB三维点云中的第m个点,M为第i个RGB三维点云的点数,为经过旋转平移后的彩色化点云即拼接后的彩色点云; 7、对拼接后的彩色点云中的重叠区域进行融合优化,获得最终的被测对象完整彩色三维重建结果; 7.1、对于经过拼接后的多个RGB三维点云先将其作为整体对象将整体对象PCall所在的三维空间的每个轴作为边界进行子空间划分,得到八个子空间,利用八叉树结构不断划分子空间,得到的最小子空间作为一个体素,搜索定位多个三维点云间的重叠区域,将单个体素内存在过多密集点即超过一个点的体素定义为待融合体素,其中,最小子空间根据灰度图像的分辨率确定,至少含有一个点; 7.2、对于待融合体素内存在的第l个点Voxelk表示第k个待融合体素,依据其序号追溯到其对应所在的RGB三维点云以点为中心,找到的P个最近邻点,表示为 计算3×3的协方差矩阵 其中,x,y,z为集合一个点对应的三维坐标值; 将点以及P个最近邻点的协方差矩阵作为局部PCA的输入,获取协方差矩阵三个非负特征值中最小的特征值并作为点在点云融合中的显著性值; 7.3、根据计算的显著性值对体素Voxelk中的所有点进行加权平均,同时作用在颜色融合和位置融合上,获取最终的第k个待融合体素中的融合点 其中,Lk为第k个体素Voxelk中所包含的总点数,为第k个体素Voxelk中第l个点对应的显著性值,删除体素Voxelk中的所有点并用融合点替代,从而完成点云融合。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人电子科技大学,其通讯地址为:611731 四川省成都市高新区(西区)西源大道2006号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。