北京工业大学;北京钢铁侠科技有限公司王立春获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京工业大学;北京钢铁侠科技有限公司申请的专利一种形状约束联合向量筛选的刚性物体6D位姿估计方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116402888B 。
龙图腾网通过国家知识产权局官网在2025-12-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310305086.8,技术领域涉及:G06T7/73;该发明授权一种形状约束联合向量筛选的刚性物体6D位姿估计方法是由王立春;杨超;信建佳;张锐;张超杰设计研发完成,并于2023-03-27向国家知识产权局提交的专利申请。
本一种形状约束联合向量筛选的刚性物体6D位姿估计方法在说明书摘要公布了:本发明公开了一种形状约束联合向量筛选的刚性物体6D位姿估计方法,可有效提高6D位姿估计精度。本发明定义一种用于描述图像中物体形状。本发明利用不同2D关键点之间的几何关系辅助2D关键点定位。同时在任意选取两个向量计算假设关键点时,现有技术不考虑所用向量的合理性,导致生成的假设关键点的位置偏差较大,本发明提出向量筛选策略,阻止不合理的向量计算假设关键点,从而减小假设关键点的位置偏差,最终提高位姿估计的性能。
本发明授权一种形状约束联合向量筛选的刚性物体6D位姿估计方法在权利要求书中公布了:1.一种形状约束联合向量筛选的刚性物体6D位姿估计方法,其特征在于:该方法包括如下步骤, S1、单位向量场预测及像素语义预测; 基于深度网络预测单位向量场及像素语义,深度网络输入为RGB图像I∈RH×W×3,输出为语义分割S∈RH×W×2和为真实2D关键点{mj|j=1,...,8}预测的单位向量场{Vmj∈RH×W×2|j=1,...,8};其中,R表示特征空间,H为图像高度,W为图像宽度; 选择ResNet残差网络作为主干网络,由Conv+BN+ReLU层、最大池化层、跨步卷积层、空洞卷积层、双线性上采样层以及不同层次的跳跃连接残差块组成;首先对输入的H×W×3尺寸的RGB图像执行卷积和池化操作;然后在特征图上执行跳跃连接和上采样,直到特征图尺寸达到H×W;最后对H×W的特征图应用1×1卷积核提升维度,输出预测的单位向量场{Vmj}以及预测的语义分割S,其中S[pw,ph,1]表示图像I中索引为pw,ph的像素p的语义类别是指定物体的概率,记为a′ppw,ph;其中,pw为像素p在图像上的横坐标,ph为像素p在图像上的纵坐标; 基于预测的语义分割S得到目标物体区域内像素点集合E={p|a′ppw,ph>0.5},pw,ph是像素p在图像I中的像素坐标;基于预测的单位向量场Vmj,可以得到图像I中索引为pw,ph的像素p指向2D关键点mj的单位向量Vmj[pw,ph,:],是像素点p的预测单位向量vjp; S2、基于向量筛选的假设关键点计算; 计算2D关键点m1的假设关键点集合,具体步骤如下: S2.1记r为目标物体区域内像素的数量,则r=|E|;基于为2D关键点m1预测的单位向量场Vm1,通过反余弦函数计算目标物体区域内每对预测向量v1p,p∈E和v1q,q∈E之间的角度: 其中,p,q为目标物体区域内的像素点,pr,qr分别为像素点p和像素点q在集合E中的索引,且0≤pr≤r-1,0≤qr≤r-1; S2.2根据设定的阈值η计算标识矩阵A′∈Rr×r元素的值;如果那么否则其中,阈值η在实验中设置为π60; S2.3从标识矩阵中随机选取元素如果的值为0,从标识矩阵中随机选取下一个元素;如果的值为1,则计算两个向量v1p和v1q所在直线的交点,并将直线的交点作为假设关键点,同时将的值置为0,重复步骤2.3获得2D关键点m1的N个假设关键点其中表示2D关键点m1的第i个假设关键点,i为假设关键点索引; S2.4对其余2D关键点mj2≤j≤8,基于相应的单位向量场Vmj重复以上步骤2.1-2.3得到对应的假设关键点集合 S3、为假设关键点投票计算置信度分数; 对2D关键点m1的第i个假设关键点投票过程如步骤3.1-3.2: S3.1利用式1计算目标物体区域中的每个像素p指向第i个假设关键点的单位向量 S3.2利用式2为每个假设关键点投票得到置信度分数: 其中,Γ为指示函数,阈值在实验中设置为0.99;越高表示越多的预测单位向量指向假设关键点 S3.3对其余2D关键点mj2≤j≤8的假设关键点重复以上步骤3.1-3.2计算置信度分数; S3.4对2D关键点mj来说,置信度分数最高的假设关键点即为预测的2D关键点m′j, S4、计算网络损失; 网络总损失为L=Lg+Lv+λLs,λ为经验参数,在实验中设置为0.1;Lg为式3定义的语义分割损失: Lg=-aploga′p-1-aplog1-a′p3 其中,a′p表示像素p被网络预测为目标物体像素的概率,ap为语义真值;Lv为式4定义的单位向量场预测损失: 其中,j为关键点索引,p为目标物体区域像素点集合E中的像素点,和分别为预测单位向量vjp沿图像水平方向和竖直方向的分量,和分别为真实单位向量ujp沿图像水平方向和竖直方向的分量,为函数;Ls为式5定义的形状约束损失: 其中,wj=[dj,gj,gj+1]是基于SD定义的特征向量,dj是线段mjmj+1的长度,j=8时线段为m8m1;gj是线段omj的长度,j=8时w8=[d8,g8,g1];w′j=[d′j,g′j,g′j+1]是基于SD′={om′j|1≤j≤8}∪{m′jm′j+1|1≤j<8}∪{m′8m′1}定义的特征向量,d′j是线段m′jm′j+1的长度,j=8时线段为m′8m′1;g′j是线段om′j的长度,j=8时w′8=[d′8,g′8,g′1]; S5、计算6D位姿; 对2D关键点mj1≤j≤8,基于对应的假设关键点集合和假设关键点的置信度分数记其中,是假设关键点的像素横坐标,是假设关键点的像素纵坐标;分别利用式6和式7计算均值向量μj和协方差矩阵Σj: 依据模型的3D关键点Mj1≤j≤8和预测的2D关键点m′j1≤j≤8,首先计算世界坐标系下的3D关键点Mj在相机坐标系下的坐标,将问题转变成3D-3D位姿求解问题;然后利用ICP算法初始化R,t;最后利用非线性优化的方式求解最优R,t。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京工业大学;北京钢铁侠科技有限公司,其通讯地址为:100024 北京市朝阳区平乐园100号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励