买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学申请的专利一种基于多模态信息融合的喉镜图像多属性分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116664929B 。

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310606272.5，技术领域涉及：G06V10/764；该发明授权一种基于多模态信息融合的喉镜图像多属性分类方法是由廖阔;卜志纯;潘启迪;陈思情;彭曙鹏设计研发完成，并于2023-05-26向国家知识产权局提交的专利申请。

本一种基于多模态信息融合的喉镜图像多属性分类方法在说明书摘要公布了：本发明属于医学图像分类领域，具体涉及一种基于多模态信息融合的喉镜图像多属性分类方法。本发明的方法包含文本特征提取模块、图像特征提取模块、内联特征挖掘模块和逆映射输出模块。首先，使用配对的喉镜图像和报告建立自己的多模态数据集，通过文本特征提取模块实现从诊断报告中自动获取目标属性标签；然后，通过图像特征提取模块获得图像的特征表示；之后，提出了内联特征挖掘模块，该模块融合了文本特征和图像特征，挖掘各个属性的内部关联性，从而实现疾病自动分类；最后，逆映射输出模块实现自动生成包含多个表征属性和最终诊断结论的报告。

本发明授权一种基于多模态信息融合的喉镜图像多属性分类方法在权利要求书中公布了：1.一种基于多模态信息融合的喉镜图像多属性分类方法，其特征在于，包括以下步骤： S1、获取原始喉镜图像记为，为获取的原始喉镜图像数量，，是原始喉镜图像的高度和宽度；对原始喉镜图像进行处理，获得大小格式统一的喉镜图像，表示为，，是原始喉镜图像重新调整大小之后的高度和宽度； 同时获取与原始喉镜图像对应的文本格式的诊断报告，记为，其中，a表示诊断报告样本的数量，诊断报告与喉镜图像是一一对应匹配的，获得训练数据； S2、构建神经网络，包括文本特征提取模块、图像特征提取模块、内联特征挖掘模块、逆映射输出模块； 所述文本特征提取模块的输入为诊断报告，用于从诊断报告中提取感兴趣信息作为图像的多属性标签，对于，采用文本映射函数进行推理，推理函数作用于输入和感兴趣信息列表I，是由内镜医生确定的n项医学感知结果作为需要获取的属性信息，表示为，输出与I的匹配信息：，其中，表示第i个感兴趣信息与的相似度；最后通过词级嵌入函数Ex获得医学感知结果的文本特征：，，其中，channels表示特征维数； 所述图像特征提取模块用于对喉镜图像进行特征提取，具体为采用ResNet50网络，从ResNet50网络的5个输出层中选取的输出作为ResNet50的输出，得到提取的图像特征为,其中，channels是输出特征的通道数，与前述特征维数channels相同，和分别是输出特征的高度和宽度； 所述内联特征挖掘模块由M个增强型Transformer编码器组成，将文本特征提取模块输出的文本特征与图像特征提取模块输出的图像特征进行拼接融合，具体为先通过view函数对图像特征降维，将第二维和第三维展平获得一个新的维度，即 ， 然后通过拼接获得作为增强型Transformer编码器的输入集，在编码器中，通过自我注意力机制计算输入集元素和之间的注意力系数： ， 其中，和分别是query和key权重矩阵，是比例因子；通过加权和操作将更新为： ， 其中为value权重矩阵，再引入变换矩阵、和偏差向量、，经过ReLu激活函数得到更新后的： ， 最后经过卷积层来增强局部信息的学习，将更新过程重复M次，从而将增强的局部信息与多头自我注意机制的全局信息相融合，减少不相关属性之间的相关系数，而增加相关属性之间的相关系数； 编码器输出学习后的融合特征表示：，其中channels为融合后特征的通道数，cat为融合后特征的大小； 所述逆映射输出模块用于通过多分支输出结构预测喉镜图像的类别和属性，进而经过逆映射函数输出最终的诊断报告，具体为利用内联特征挖掘模块输出的融合特征，利用多个前馈神经网络FFN实现属性的预测，表示为： ， 其中，表示预测第i个属性所用的FFN及其参数，T表示转置操作，n表示属性的总数，为中的元素；针对互斥属性，预测概率较大的属性将作为最终预测属性；针对非互斥属性，确定阈值，阈值以下的属性将被丢弃，根据预测得到的属性结果，通过逆映射函数生成诊断报告，诊断报告包含病变属性状态的预测结果； S3、利用S1得到的训练数据对S2构建神经网络进行训练，其中图像特征提取模块部分在ImageNet数据集上先进行预训练，将通过预训练得到的参数作为ResNet50的初始参数，训练采用的损失函数为非对称损失： 其中，是聚焦参数，y是网络的输出概率，概率参数z≥0是一个可调整的超参数，通过神经网络的反向传播机制，修正网络的参数，直至网络基本收敛得到训练好的神经网络； S4、采用训练好的网络对喉镜图像进行属性预测和诊断报告的生成： 选择需要分类的喉镜图像，将其送入图像特征提取模块，得到的特征图经过前向反馈网络，获得关于喉镜图像的病变类别预测和相应的属性预测，最后通过逆映射函数获得预测的诊断报告。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新西区西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。