买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京理工大学申请的专利基于跨视角信息互补的稀疏视角表面重建方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119693546B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411758193.7，技术领域涉及：G06T17/00；该发明授权基于跨视角信息互补的稀疏视角表面重建方法是由谢晋;杨航;钱建军设计研发完成，并于2024-12-03向国家知识产权局提交的专利申请。

本基于跨视角信息互补的稀疏视角表面重建方法在说明书摘要公布了：本发明公开了一种基于跨视角信息互补的稀疏视角表面重建方法，该方法包括训练阶段和推理阶段。训练阶段包括以下步骤：首先将输入的稀疏视角图像输入到网络中得到多尺度的特征并构造代价体；接下来将多视角的代价体输入到跨视角几何互补模块中，得到优化后的代价体；然后将优化后的代价体输入到跨视角几何Transformer，通过体渲染技术得到新视角的图像和深度图，并使用真值深度监督网络的训练；在推理阶段，将多视角图像以及对应的位姿，输入到训练好的跨视角信息互补的稀疏视角表面重建网络中，得到每个视角的深度，使用深度图融合算法得到最终的表面。本发明通过显式构建跨视角互补信息融合方式，提升在大视角变化下的场景重建准确性和鲁棒性。

本发明授权基于跨视角信息互补的稀疏视角表面重建方法在权利要求书中公布了：1.一种基于跨视角信息互补的稀疏视角表面重建方法，其特征在于：包括训练阶段和推理阶段两个过程； 训练阶段包括如下步骤： 步骤1：将输入的稀疏视角图像输入到特征金字塔网络中得到多尺度的特征； 步骤2：利用多视角的特征以及它们对应的位姿构造代价体，并使用3D网络对其进行正则化； 步骤3：将多视角的代价体输入到跨视角几何互补模块中，得到优化后的代价体； 步骤4：将优化后的代价体输入到跨视角几何Transformer，充分融合不同视角下的代价体几何，并通过体渲染技术得到新视角的图像和深度图； 步骤5：通过比较渲染的深度和颜色与真值深度和颜色的差来作为损失函数，监督网络的训练； 推理阶段包括如下步骤： 步骤1：对于输入的少量的具有较大视角变换的图像集输入到现有的位姿估计框架中，获得每张图像相对于世界坐标系的位姿； 步骤2：将多视角图像以及对应的位姿，输入到训练好的跨视角信息互补的稀疏视角表面重建网络中，得到每个视角的深度； 步骤3：将每个视角深度图以及对应的位姿，输入到现有的TSDF融合框架中，获得最终的表面重建网格； 训练阶段步骤3中跨视角几何互补模块的具体实现过程为： 跨视角几何互补模块中，首先为每个视角估计置信度图；根据这个置信度图可以自适应地融合不同视角的几何信息；跨视角几何互补模块构造了跨视角的几何体积以及基于图像块的多视图一致性体积，最后将这两个体积捕获的跨视角几何信息补充到每个视角的特征体中，得到优化后的代价体，具体过程为： 步骤3.1：估计逐视角的置信度图；以熵来度量沿深度方向的深度概率分布来作为深度置信度的先验；熵先验最后会被输入到一个2D网络ψc中，得到最终的置信度图该过程表述如下： 步骤3.2：构建跨视角的几何体；跨视角的几何体以先前计算的置信度图为线索，自适应地融合不同视角下的几何体积特征；跨视角的几何体G被定义为世界坐标系下的分辨率为R×R×R的稀疏体积，即其仅保存具有几何体积特征的体素，而不会保存空体素；对于跨视角的几何体积中位于位置p的元素，其会被投影到各个视角下，取得对应位置的置信度以及几何体积特征；置信度转换为权重表示为： 其中πi·表示第i个视图的投影函数；最终，位置p处的跨视角的几何体积元素计算为： 步骤3.3：构造多视图一致体；首先使用步骤2中得到的中间深度图Di估计出每个视角的法向量图其中，A为局部窗口内所有像素坐标组成的矩阵，1是一个所有元素均为1的向量；然后，通过步骤3.2中计算的聚合权重wi将不同视角的法向量融合得到聚合的法向量： 根据该法向量，得到空间中一个局部平面块的坐标表示；空间中与法向量垂直的两个基向量b1、b2计算为： b1＝ba×n,b2＝b1×n其中×表示向量的外积，ba＝1,0,0T是预定义好的锚向量；接下来，k×k的局部平面块的每个网格点的世界坐标系的坐标puv被计算为： puv＝c+τub1+vb2其中c是元素中心坐标，τ是控制局部平面块在世界坐标系中大小的尺度因子；得到局部平面块的坐标之后投影到每个视角的图像上，获取图像块对应的特征； 使用对应置信度最大的两个视角来计算一致性得分s，计算过程表述为： 步骤3.4：自适应地几何体融合；在根据步骤3.2和3.3分别获得跨视角的几何体和多视图一致体之后，它们被沿通道方向连接在一起，并输入到一个3DU‑Netψu中，来融合不同跨视角的几何信息，最终得到统一几何体U；这个过程表示为： U＝ψu[G,S]统一几何体U被投影到各个视图下得到几何一致体然后几何一致体和原来的几何体Vi融合起来得到最后优化后的几何体其中ψf是一组3D卷积层；通过优化后的几何体得到优化后的中间深度图作为后续构造特征匹配代价体的先验； 训练阶段步骤4中跨视角几何Transformer具体实现过程为： 首先得到新视角下的采样点在世界坐标系下的坐标：p＝o+td，其中o表示新视角的相机中心在世界坐标系下的坐标，d表示像素点对应的射线在世界坐标系下的方向，t表示采样点的深度值；将第j个采样点投影到不同视角下的多尺度几何体中，获得对应几何特征然后根据其对应的置信度通过一个多层感知机网络MLP对其进行融合，具体过程为接下来，将射线上的采样点对应的融合几何特征输入到一个自注意力网络层SelfAttn中来充分地评估每个采样点的可靠性，具体过程为： 其中γj表示第j个采样点的位置编码，M表示射线上采样点的总数；然后利用softmax函数将可靠性得分rij转换为权重，得到融合后的几何特征这些融合后的几何特征被输入到一个自注意力网络层中来捕获沿射线的几何特征，并通过一个多层感知机网络MLP将几何特征编码为SRDF值最后，得到的采样点的SRDF值通过NeuS中的体渲染方式得到渲染的图像以及深度图。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京理工大学，其通讯地址为：210094 江苏省南京市玄武区孝陵卫200号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。