买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉深圳大学申请的专利一种基于单张影像的全景三维实例恢复方法、系统、终端及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119579804B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510138523.0，技术领域涉及：G06T17/00；该发明授权一种基于单张影像的全景三维实例恢复方法、系统、终端及存储介质是由郭仁忠;赵博锐;王伟玺;李晓明;晏艺真;谢林甫设计研发完成，并于2025-02-08向国家知识产权局提交的专利申请。

本一种基于单张影像的全景三维实例恢复方法、系统、终端及存储介质在说明书摘要公布了：本发明公开了一种基于单张影像的全景三维实例恢复方法、系统、终端及存储介质，所述方法包括：单张RGB图像的二维信息提取，基于二维信息的特征升维，三维语义信息的细化与实例分组，多层次遮挡检测与遮挡剔除，全景三维实例的前后景合成，从而得到一个完整的三维场景重建结果。本发明利用多层次前后景分割和遮挡剔除技术实现了对于遮挡环境下的室内场景的全景三维重建，能够实现遮挡区域的自动化剔除，并得到去除遮挡后的图像。

本发明授权一种基于单张影像的全景三维实例恢复方法、系统、终端及存储介质在权利要求书中公布了：1.一种基于单张影像的全景三维实例恢复方法，其特征在于，所述基于单张影像的全景三维实例恢复方法包括： 提取单张RGB图像的二维信息，所述二维信息包括二维语义信息、实例中心信息、深度信息和多平面占用信息； 根据所述深度信息，将所述二维语义信息转换为三维语义信息，根据所述多平面占用信息提取所述三维语义信息中无意义的区域，得到三维提升特征； 对所述三维提升特征进行细化，根据细化后的特征进行三维重建，在进行三维全景分割时，根据重建后的特征进行实例分组，得到3D实例ID，判断单张RGB图像是否存在遮挡，若无遮挡，对3D实例进行分组的结果相结合，得到无遮挡条件下单张RGB图像的三维场景重建结果； 若存在遮挡，使用遮挡关系学习方法提取出单张RGB图像中所有位于前景部分的实例，并利用图像修复技术进行遮挡剔除，将多次的预测结果合成为一个完整的三维场景重建结果； 所述提取单张RGB图像的二维信息，具体包括： 给定一个单张RGB图像，使用二维模型提取特征以学习二维先验知识，得到单张RGB图像的二维信息： ； 其中，，表示包含个类别的二维语义信息，和分别表示单张RGB图像的高度和宽度；，表示深度信息；，表示预测个带有对应类别标签的实例中心信息；，表示预测的多平面占用信息，指示了不同深度的个平面上是否被3D物体或者物体占据； 所述根据所述深度信息，将所述二维语义信息转换为三维语义信息，根据所述多平面占用信息提取所述三维语义信息中无意义的区域，得到三维提升特征，具体包括： 将二维语义信息转换为三维语义信息： ； 其中，所述三维语义信息覆盖整个空间内的物体和区域；表示相机的内部矩阵；表示位置处的深度，u和v表示二维图像上的两个维度；z表示深度，区域表示自由空间； 利用多平面占用信息提取三维语义信息中无意义的区域，得到三维提升特征I 3d，三维提升特征I 3d由三维语义信息和三维占据信息的乘积计算得到： ； ； 其中，Conv表示一个Conv-BN-ReLU模块；表示逐元素乘积； 所述对所述三维提升特征进行细化，根据细化后的特征进行三维重建，在进行三维全景分割时，根据重建后的特征进行实例分组，得到3D实例ID，判断单张RGB图像是否存在遮挡，若无遮挡，对3D实例进行分组的结果相结合，得到无遮挡条件下单张RGB图像的三维场景重建结果，具体包括： 利用三维编码器解码器模型预测细化后的三维语义信息、三维偏移量和三维占用信息： ； 其中，分别表示细化后的三维语义信息、三维偏移量和三维占用信息； 在进行三维重建时，利用三维占用信息的引导，通过获得重建后的三维语义信息，通过获得重建后的三维偏移量； 在进行三维全景分割时，给每个物体的体素分配实例标识，利用实例中心信息、重建后的三维偏移量和重建后的三维语义信息进行实例分组； 判断单张RGB图像是否存在遮挡，若无遮挡，对3D实例进行分组的结果相结合，得到无遮挡条件下单张RGB图像的三维场景重建结果； 所述利用实例中心信息、重建后的三维偏移量和重建后的三维语义信息进行实例分组，具体包括： 将重建后的三维偏移量和重建后的三维语义信息转化为多平面下三维偏移量和对应类别k的多平面三维语义信息： ； ； 其中，表示对应类别k的重建后的三维语义信息； 得出多平面下对应类别k的三维偏移量： ； 通过实例中心信息索引出类别k的实例中心，将类别k的实例中心和多平面下类别k的三维偏移量相结合，对多平面上的3D实例中心进行分组，得到确定性的实例ID； ； 其中，表示在深度z预测的实例ID；表示k类别的第j个实例；表示第j个类别k的2D实例中心；表示类别k在深度z下处的三维偏移量中的分量；表示类别k在深度z下处的三维偏移量中的分量； 计算在位置处类别的3D实例ID： ； 其中，表示在位置处类别k的3D实例ID； 所述若存在遮挡，使用遮挡关系学习方法提取出单张RGB图像中所有位于前景部分的实例，并利用图像修复技术进行遮挡剔除，将多次的预测结果合成为一个完整的三维场景重建结果，具体包括： 将二维语义信息与实例中心信息结合得到二维实例信息，所述二维实例信息表示物体的实例掩膜，根据实例掩膜是否相切初步判断是否存在遮挡； 若存在实例掩膜相切，获取可能存在遮挡区域的物体间的实例分界线，所述实例分界线由两物体彼此边界相邻的像素点共同组成； 通过遮挡关系学习解析出单张RGB图像中物体的遮挡关系，根据所属不同实例分界线与遮挡方向的关系判断遮挡关系； 若当前区域存在两个及以上物体的遮挡问题，将物体之间两两比较后创建有向图，并获取有向图中最前景部分； 确定前景区域和前景的实例ID后，进行像素膨胀操作，使用遮挡剔除或者图像修复技术剔除最前景部分，得到新生成的影像，影像为单张RGB图像去除掉遮挡前景并还原后续物体的结果，并保留实例ID对应的三维实例内容，若发生遮挡剔除，则表示经遮挡剔除消除过的实例ID部分，若不发生遮挡剔除，则表示当前不存在遮挡的单张RGB图像所对应的三维实例内容； 将多次遮挡剔除所保留下的实例ID对应的三维实例内容整合至统一的目标模型中，得到单张RGB图像所对应的全景三维实例内容，所述全景三维实例内容表示三维场景重建结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人深圳大学，其通讯地址为：518060 广东省深圳市南山区粤海街道南海大道3688号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。