买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利面向VR设备的照片级真实场景重建和沉浸式交互系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118710843B 。

龙图腾网通过国家知识产权局官网在2026-02-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410693850.8，技术领域涉及：G06T17/20；该发明授权面向VR设备的照片级真实场景重建和沉浸式交互系统是由潘芃轶;李想;王嘉梁;廖依伊设计研发完成，并于2024-05-31向国家知识产权局提交的专利申请。

本面向VR设备的照片级真实场景重建和沉浸式交互系统在说明书摘要公布了：本发明公开了一种面向VR设备的照片级真实场景重建和沉浸式交互系统。本发明通过用户的摄像设备采集真实环境图像，基于NeRF模型训练图像得到带有语义信息的Mesh模型和对应的纹理特征图像，从而从二维图像中高质量重建出三维场景模型，并利用Unity引擎和VR设备实现真实环境和虚拟环境的无缝结合，为用户提供了一种沉浸式的视觉体验。为了提高交互性，本发明创新地采用了依据用户语音信息进行操作控制的方式，通过麦克风实时捕捉用户语音指令，并将其快速准确地转化为对应的文本信息，完成一系列语义化操作。本发明通过融合NeRF模型和VR技术，实施实时、方便的三维场景重建，并以用户体验为导向，实现了高度沉浸的交互科技，将本系统的实用性推向了新的高度。

本发明授权面向VR设备的照片级真实场景重建和沉浸式交互系统在权利要求书中公布了：1.一种面向VR设备的照片级真实场景重建和沉浸式交互系统，其特征在于，包括： 图像采集与训练模块：用户使用摄像设备对真实环境进行图像采集，将采集的图像作为训练视图，基于NeRF模型训练图像得到带有语义信息的Mesh模型和对应的纹理特征图像，从而从二维图像中高质量重建出三维场景模型和或物体模型；所述图像采集与训练模块的实现具体为： 1使用NeRF2Mesh框架，通过密度网格学习初步的几何结构，利用MarchingCubes算法从密度场中提取粗网格； 2对粗网格进行迭代优化，包括顶点位置、面密度和表面外观的优化，使用基于nvdiffrast的可微渲染技术来提升网格的几何和外观精度； 3利用颜色网格同时进行两个阶段的外观学习，将外观分解为视角独立的漫反射颜色和视角依赖的镜面反射颜色；在训练完成后，导出优化后的细网格，即优化后的Mesh模型，并展开其UV坐标，将外观烘焙成纹理图像； 4对导出的优化后的Mesh模型进行冗余清理； 5根据给定的相机视角，对清理后的Mesh模型进行光栅化，获取每个像素对应的贴图坐标； 6通过全连接神经网络，利用贴图坐标计算渲染颜色和真值颜色之间的差异，反向传播梯度以监督颜色特征的学习，获得初步的位置物理尺度； 7基于LERF框架，将得到的位置物理尺度输入CLIP模型，输出单个CLIP向量；在CLIP模型嵌入NeRF2Mesh模型的训练过程中，利用从训练视图裁剪生成的CLIP嵌入构建的多尺度特征金字塔进行监督，得到关于空间位置的语义信息； 8将带有语义信息的优化网格以Mesh模型导出，并保存相应的纹理特征图像，将Mesh模型和纹理特征图像加载到虚拟仿真平台中，实现基于语义信息的高质量三维场景和或物体的重建； 虚拟环境实时渲染模块：通过Unity引擎加载重建后的三维场景模型和或物体模型，Unity引擎与VR设备建立连接并实现实时渲染，用户通过VR设备可视化Unity引擎渲染的虚拟场景和或物体； 语音控制交互模块：检测用户麦克风采集的音频流中的关键词并转化为文本信息，将文本信息解析成语义控制指令，实现从文本到语义的控制和对应视角切换。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。