买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利一种通过混合扩散监督进行多模态到3D对象的生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119625216B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411674597.8，技术领域涉及：G06T17/20；该发明授权一种通过混合扩散监督进行多模态到3D对象的生成方法是由孙晓帅;樊奕君;纪荣嵘;马祎炜;纪家沂设计研发完成，并于2024-11-21向国家知识产权局提交的专利申请。

本一种通过混合扩散监督进行多模态到3D对象的生成方法在说明书摘要公布了：本发明公开了一种通过混合扩散监督进行多模态到3D对象的生成方法，包括以下步骤：S1、采用模态相似度损失对齐模态提示与渲染图像的编码，将多种模态的语意信息更好地注入到3D对象的生成过程当中，用于使生成的3D对象更加贴合各个模态提示的要求；S2、采用混合扩散监督利用2D扩散模型以及3D扩散模型的先验知识，通过结合两种预训练扩散模型的优势，用于提高3D对象的生成效果和一致性：S3、利用三阶段优化方法，通过在每个阶段结合混合扩散监督，生成3D对象；该方法通过采用模态相似度损失、混合扩散监督和三阶段优化方法，可有效提高3D对象的生成质量，具有显著的实用价值和应用前景。

本发明授权一种通过混合扩散监督进行多模态到3D对象的生成方法在权利要求书中公布了：1.一种通过混合扩散监督进行多模态到3D对象的生成方法，其特征在于，包括以下步骤： S1、采用模态相似度损失对齐模态提示与渲染图像的编码，将多种模态的语意信息更好地注入到3D对象的生成过程当中，用于使生成的3D对象更加贴合各个模态提示的要求； 步骤S1通过将多模态对齐编码器生成的嵌入与从3D对象渲染的图像的CLIP嵌入进行对齐，增强在3D对象生成过程中的各个模态的正确指导，具体过程为： S11、使用可微分渲染器从相应的NeRF模型或Mesh模型中，在给定的摄像机视角p下渲染一组图像x； S12、对图像x进行数据增强，以获取细致的几何结构和纹理；所述数据增强包括全局增强、局部增强和归一化；其中，所述全局增强用于对渲染的图像进行随机透视变换，局部增强用于对渲染的图像进行随机裁剪和透视变换； S13、将数据增强后的渲染图像输入CLIP图像编码器以获取其嵌入，再计算输入模态提示的嵌入与渲染图像的嵌入之间的模态相似度损失，计算公式为： 其中，表示最终整体的模态相似度损失；表示对渲染图像做全局增强后的模态相似度损失；表示对渲染图像做局部增强后的模态相似度损失；表示对渲染图像做归一化后的模态相似度损失；ωg、ωl和ωz是加权参数；i表示数据增强的次数；n表示每次迭代中的数据增强次数；Wi表示第i次增强期间的相似度权重；avg[·]表示输入模态嵌入与所有渲染图像嵌入之间平均相似度的计算；cosa,b表示a与b之间的余弦相似度；Cm代表由多模态对齐编码器编码的模态提示嵌入；ε表示CLIP图像编码器；Gx表示对渲染图像x做全局增强操作；Lx表示对渲染图像x做局部增强操作；Zx表示对渲染图像x做归一化操作； S2、采用混合扩散监督利用2D扩散模型以及3D扩散模型的先验知识，通过结合两种预训练扩散模型的优势，用于提高3D对象的生成效果和一致性： S3、利用三阶段优化方法，通过在每个阶段结合混合扩散监督，生成3D对象； 步骤S3的具体过程为： S31、第一阶段，使用像素级平面监督中的模态相似度损失和增强的2D得分蒸馏采样损失，同时结合空间级立体监督和法向量正则化更新神经辐射场模型，直到收敛，用于学习与模态提示对齐的粗略纹理和3D几何形状，并使用低分辨率NeRF模型进行3D表示； S32、第二阶段，将3D对象的渲染法线贴图作为2D和3D扩散模型的输入，使用像素级平面监督中的模态相似度损失和一致性蒸馏采样损失，同时采用空间级立体监督、法线一致性损失和拉普拉斯平滑损失来优化差分可微体素网格嵌入体模型，用于增强3D对象的几何细节，并使用高分辨率差分可微体素网格嵌入体模型作为3D表示，将3D表示从隐式神经辐射场模型转换为显式差分可微体素网格嵌入体模型，将3D对象的几何形状和纹理分开进行优化； S33、将差分可微体素网格嵌入体模型渲染的彩色图像输入到预训练的2D扩散模型和3D感知扩散模型中，通过利用像素级平面监督中的模态相似度损失和增强的2D得分蒸馏采样损失，以及空间级立体监督，生成具有丰富纹理细节的高保真度3D对象。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361000 福建省厦门市思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。