买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东科技大学申请的专利一种基于图像文字生成技术的害虫图像可解释性分类方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116310564B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310287333.6，技术领域涉及：G06V10/764；该发明授权一种基于图像文字生成技术的害虫图像可解释性分类方法是由曾庆田;王善松;孙健;倪维健;段华;李超;宋戈;林泽东设计研发完成，并于2023-03-23向国家知识产权局提交的专利申请。

本一种基于图像文字生成技术的害虫图像可解释性分类方法在说明书摘要公布了：本发明公开了一种基于图像文字生成技术的害虫图像可解释性分类方法，属于多模态数据处理技术领域，包括如下步骤：利用网络爬虫技术收集并构建具有害虫图像以及对应文本描述的多模态数据集；利用Faster‑RCNN模型识别害虫图像各个身体部件，并提取各个身体部件的特征；利用Transformer模型生成对害虫图像的文本描述，并将害虫图像的视觉特征和文本特征进行融合，形成联合特征；使用联合特征训练一个分类器预测害虫的类别标签；结合生成的文本描述以及预测的害虫类别标签，对害虫的分类结果进行文字层面的解释。该方法可以在预测害虫标签的同时给出解释性文本描述，可以有效提高分类准确率。

本发明授权一种基于图像文字生成技术的害虫图像可解释性分类方法在权利要求书中公布了：1.一种基于图像文字生成技术的害虫图像可解释性分类方法，其特征在于，通过生成文本描述对害虫图像分类结果进行解释以模仿农业专家诊断过程，具体包括如下步骤： 步骤1、利用网络爬虫技术收集并构建具有害虫图像以及对应文本描述的多模态数据集； 步骤2、利用Faster-RCNN模型识别害虫图像各个身体部件，并提取各个身体部件的特征； 步骤3、利用Transformer模型生成对害虫图像的文本描述，并将害虫图像的视觉特征和文本特征进行融合，形成联合特征；具体过程如下： 步骤3.1、将表示害虫身体部件的特征Fi∈Rm×2048输入Transformer模型的Encoder模块中，通过多头自注意力机制为每一个特征进行加权，获得特征的隐向量表示：Fhi∈Rm×2048，该过程用公式表示为： Fhi＝EncoderFi；θenc,Fhi∈Rm×20482； 其中，θenc表示Encoder·的参数； 步骤3.2、为Transformer的Decoder模块设计文本输入； 令表示对应害虫身体部件Pi的文本描述，其为Decoder模块的输入，并将[Start]标识符填充到文本描述的起始位置；T表示文本描述的长度，L表示词汇表的长度； 令表示Decoder模块的输出，其为Transformer模型生成的文本描述，并将[End]标识符填充到文本描述的末尾位置； 步骤3.3、将文本描述与害虫身体部件特征的隐向量表示Fhi输入第一层Decoder模块，通过多头自注意力机制学习视觉特征和文本特征的联合表示该过程用公式表示为： 其中，θdec表示Decoder·的参数； 步骤3.4、经过Decoder模块N次堆叠，上一个Decoder模块的输出为下一个Decoder模块的输入，最终得到视觉特征和文本特征融合后的联合特征Fti； 步骤3.5、联合特征Fti经过一个两层的全连接层模块和Softmax·函数获得每一个词汇的概率分布，该过程用公式表示为： 其中，θgen表示全连接层模块MLPgen·的参数； 步骤3.6、根据每个词汇的概率分布对词表进行查询，获得最终的输出 步骤4、使用联合特征训练一个分类器预测害虫的类别标签； 步骤5、结合生成的文本描述以及预测的害虫类别标签，对害虫的分类结果进行文字层面的解释。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东科技大学，其通讯地址为：266590 山东省青岛市黄岛区前湾港路579号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。