买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆大学申请的专利一种仪器仪表智能运维的多模态故障理解及辅助标注方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114693942B 。

龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210336240.3，技术领域涉及：G06V10/40；该发明授权一种仪器仪表智能运维的多模态故障理解及辅助标注方法是由张可;柴毅;蒲华祥;邱可玥;王嘉璐;钱亚林;宋倩倩;安翼尧;李希晨设计研发完成，并于2022-03-31向国家知识产权局提交的专利申请。

本一种仪器仪表智能运维的多模态故障理解及辅助标注方法在说明书摘要公布了：本发明提供一种仪器仪表智能运维的多模态故障理解及辅助标注方法，步骤为：采集仪器仪表故障时反馈的图像、声音和文本数据，分别对采集的图像、音频和文本数据进行预处理，对预处理后的图像数据、音频数据、文本数据进行特征提取，采用基于多模态量子启发神经网络对提取的图像、音频、文本特征进行融合；利用提取的图像、音频、文本特征对多模态量子启发神经网络模型进行训练；将训练好的模型加载到仪器仪表智能运维平台后端，将多模态故障数据传入API，经过模型推理，返回标注集合；本发明通过多模态量子启发深度网络模型对图像、语音、文本特征进行融合，通过融合编码特征对仪器仪表的故障进行理解，并对故障反馈信息进行自动标注，实用性强。

本发明授权一种仪器仪表智能运维的多模态故障理解及辅助标注方法在权利要求书中公布了：1.一种仪器仪表智能运维的多模态故障理解及辅助标注方法，其特征在于，具体步骤如下： 1数据采集：采集仪器仪表故障时反馈的图像、声音和文本数据，并组织成字典{'image':[img1,img2,…],'voice':[v1,v2,…],'text':[t1,t2,…]}，其中：image、voice、text分别为图像、音频和文本三种模态； 2数据预处理：分别对步骤1中采集的图像、音频和文本数据进行预处理，得到预处理后的图像、音频和文本数据； 3特征提取：采用基于PatchConvNet模型对步骤2中预处理后的图像数据进行图像特征提取，采用基于一维扩张卷积预对步骤2中处理后的音频数据进行音频特征提取，采用基于GRU单元的双向循环网络对步骤2-3中预处理后的文本进行文本特征提取； 4构建模型：采用基于多模态量子启发神经网络对步骤3中提取的图像特征、音频特征和文本特征进行融合，得到融合编码特征； 5模型训练：使用自编码训练与多任务训练的方式对图像、音频、文本特征的提取模型进行训练，利用步骤3提取的图像、音频、文本特征对多模态量子启发神经网络模型进行训练； 6辅助标注：将训练好的三种模态数据的特征提取网络模型以及多模态量子启发深度网络模型加载到仪器仪表智能运维平台后端，将仪器仪表多模态故障数据传入API，经过模型推理，返回标注集合，实现辅助标注； 步骤2中数据预处理的具体步骤为： 2-1对步骤1中采集的图像数据进行自适应裁剪和方形填充，然后对图像进行缩放归一化，保持图像比例不变，最后对列表中的图像进行去重过滤； 2-2采用基于启发式双重优化PCD算法对步骤1中采集的音频数据进行降噪，对降噪后的音频片段进行中心裁剪或者对称填充； 2-3基于完备专业性词向量空间对步骤1中采集的文本数据进行关键词提取，并将关键词转换成向量形式，得到关键词向量矩阵； 步骤3中特征提取的具体步骤为： 3-1图像特征提取：将图像数据输入PatchConvNet模型中，采用循环前向传播，再对输出进行平均融合，得到维度为512的图像特征： 式中，images为图像数据，N1为单个样本中图像数据片段的数量； 3-2音频特征提取：采用基于一维扩张卷积预对步骤2中处理后的音频数据进行音频特征提取，然后对输出进行平均融合，得到音频特征： 式中，voices为音频数据，N2为单个样本中音频数据片段的数量； 3-3文本特征提取：采用基于GRU单元的双向循环网络对步骤2中得到的关键词向量进行特征提取，并截取最后一个时间步的输出作为后续特征： 式中，texts为关键词向量，N3为单个样本中关键词向量的数量； 步骤4中构建模型的具体步骤为： 4-1将三种模态的特征向量输入多模态量子启发神经网络的全联接层： 式中，分别表示图像特征向量、音频特征向量和文本特征向量； 将三种模态的特征投向量影到一个d维的空间中： aj,tj,vj＝transformuj 其中，transform表示线性投影变换； 将各个模态的纯态进行融合： pj＝λa|aj＞＜aj|+λt|tj＞＜tj|+λv|vj＞＜vj| 式中，aj,tj,vj分别表示音频、文本和视觉三种模态，λa,λt,λv为融合系数，均为非负值且和为1； 4-2通过类量子循环神经网络QRNN网络模型对三种模态的特征矩阵进行融合，将密度矩阵序列输入QRNN网络模型中，通过隐藏态的密度矩阵ρh表示序列的信息，则时间步的迭代计算过程为： 式中，更新函数f·是参数化的酉矩阵Ux,Uh和实值λ；Ux,Uh,均是定义在希尔伯特空间的酉矩阵且满足UUH＝I2,I为单位矩阵，t为虚拟时间变量，ρt为t时刻的密度矩阵，表示t-1时刻的隐态密度矩阵； 所述密度矩阵通过其中|φj＞＜φj|表示基态； 所述QRNN网络模型的输出为整个序列的d维状态即三种模态的融合特征矩阵； 4-3通过一个全局的可观测量来测量每个完整序列的状态，通过相互正交的特征状态构建一个d维的酉矩阵M即概率分布矩阵，用于表示状态坍缩到相应特征态的可能性； 4-4通过步骤4-3测量得到一个d维的概率分布，将d维的概率分布向量通过一层全联接层计算得到相应标签的预测概率,进一步得到分类标签： ei＝argmaxσk 式中，x为上一个神经节点输出，为全联接层参数矩阵，sj为第j个节点输出，σ函数返回类别概率，k表示输出维度，ei为概率最大的类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆大学，其通讯地址为：400044 重庆市沙坪坝区沙正街174号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。