买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江西财经大学;江西智容科技有限公司申请的专利基于AI生成描述的多模态全景图像盲质量评价方法与系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120356071B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510852255.9，技术领域涉及：G06V10/98；该发明授权基于AI生成描述的多模态全景图像盲质量评价方法与系统是由鄢杰斌;张嘉宇;曾丘霖;涂宸宇;方玉明;李志;万杏娥设计研发完成，并于2025-06-24向国家知识产权局提交的专利申请。

本基于AI生成描述的多模态全景图像盲质量评价方法与系统在说明书摘要公布了：本发明提出一种基于AI生成描述的多模态全景图像盲质量评价方法与系统，该方法包括：基于失真全景图像生成质量描述文本；从失真全景图像中获取包含丰富视觉语义信息的图像块；利用失真全景图像和质量描述文本对视觉语言模型进行预训练，得到预训练后的视觉语言模型；利用预训练后的视觉语言模型对质量描述文本以及包含丰富视觉语义信息的图像块进行提取，得到由图像信息监督的文本特征；通过等距可变形卷积块得到图像块特征；基于图像块特征与由图像信息监督的文本特征得到质量预测分数。本发明发掘了多模态大语言强大的视觉表征能力，在全景图像质量评价数据库中进行了广泛的实验，结果显示了该方法在评价全景图像数据方面具有显著优势。

本发明授权基于AI生成描述的多模态全景图像盲质量评价方法与系统在权利要求书中公布了：1.一种基于AI生成描述的多模态全景图像盲质量评价方法，其特征在于，所述方法包括如下步骤： 步骤1、基于失真全景图像生成质量描述文本； 通过采用定位裁剪的方式，从失真全景图像中获取包含丰富视觉语义信息的图像块； 步骤2、利用失真全景图像和质量描述文本对视觉语言模型进行预训练，得到预训练后的视觉语言模型； 步骤3、利用预训练后的视觉语言模型对质量描述文本以及包含丰富视觉语义信息的图像块进行提取，得到由图像信息监督的文本特征； 步骤4、利用等距可变形卷积块对图像块进行提取，得到图像块特征； 将图像块特征与由图像信息监督的文本特征进行拼接，得到拼接融合后的感知特征； 将拼接融合后的感知特征进行质量回归以获得质量预测分数； 在所述步骤3中，利用预训练后的视觉语言模型对质量描述文本以及包含丰富视觉语义信息的图像块进行提取，得到由图像信息监督的文本特征，具体步骤如下： 通过预训练后的视觉语言模型对质量描述文本进行标记，随后利用文本编码器进行提取，以得到通过预训练后的视觉语言模型提取的文本特征，对应过程存在的关系式为： ； 其中，表示通过预训练后的视觉语言模型提取的文本特征，通过表示预训练后的视觉语言模型的文本编码器处理，表示经过预训练后的视觉语言模型的文本标记器处理，表示预训练后的视觉语言模型； 利用预训练后的视觉语言模型的图像编码器提取图像块的感知特征，得到中间图像块特征，对应过程存在的关系式为： ； 其中，表示中间图像块特征，表示通过预训练后的视觉语言模型的图像编码器处理，表示第个图像块，表示图像块的数量； 将所有得到的中间图像块特征进行拼接融合，得到融合图像特征，对应过程存在的关系式为： ； 其中，表示融合图像特征，均表示中间图像块特征； 对将通过预训练后的视觉语言模型提取的文本特征与融合图像特征采用注意力机制进行融合，得到由图像信息监督的文本特征； 对将通过预训练后的视觉语言模型提取的文本特征与融合图像特征采用注意力机制进行融合具体包括如下步骤： 基于通过预训练后的视觉语言模型提取的文本特征得到键序列和值序列，通过融合图像特征得到查询序列，对应过程存在的关系式为： ； 其中，表示经过大小为1×1的卷积层处理，表示查询序列，表示键序列，表示值序列； 对查询序列、键序列以及值序列进行注意力融合，得到由图像信息监督的文本特征，对应过程存在的关系式为： ； 其中，表示由图像信息监督的文本特征，表示注意力机制中的缩放因子，表示经过注意力函数处理； 其中，在所述步骤4中，利用等距可变形卷积块对图像块进行提取，得到图像块特征，具体步骤如下： 利用等距可变形卷积块提取得到图像块的感知特征，对应过程存在的关系式为： ； 其中，表示图像块的感知特征，表示通过等距可变形卷积块处理； 将所有图像块的感知特征进行拼接融合，得到图像块特征，对应过程存在的关系式为： ； 其中，表示图像块特征，均表示图像块的感知特征； 将图像块特征与由图像信息监督的文本特征进行拼接，得到拼接融合后的感知特征，对应过程存在的关系式为： ； 其中，表示拼接融合后的感知特征，表示通过全局平均池化的处理； 将拼接融合后的感知特征进行质量回归以获得质量预测分数，对应过程存在的关系式为： ； 其中，表示质量预测分数，表示通过线性层处理，表示通过特征展平操作处理； 在执行上述步骤1至步骤4中，对应的训练方法包括如下训练步骤： 获取训练数据，训练数据包括失真全景图像的若干个图像块和对应的质量描述，采用10个图像块，以训练数据作为输入重复步骤1和步骤2得到预训练的Long-CLIP参数，之后冻结Long-CLIP参数重复步骤1，步骤3和步骤4，得到预测质量分数； 使用均方误差作为质量分数预测的损失函数，利用主观分数和预测质量分数构建损失函数，损失函数的表达式为： ； 其中，表示MSE损失函数，表示数据集中图像的数量，表示训练数据中第个图像的主观分数，表示训练数据中第个图像的预测质量分数； 将MSE损失函数输入Adam优化器进行优化，设置Adam优化器权重衰减策略和学习参数，其中学习率设置为0.00005；权重衰减策略，衰减率为。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江西财经大学;江西智容科技有限公司，其通讯地址为：330000 江西省南昌市经济技术开发区双港东大街169号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。