买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工程大学申请的专利一种基于场景图神经网络推理机制的视觉问答系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117010501B 。

龙图腾网通过国家知识产权局官网在2026-03-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310845914.7，技术领域涉及：G06N5/04；该发明授权一种基于场景图神经网络推理机制的视觉问答系统及方法是由尚晓兵;孙杰;张智;王立鹏;李金星设计研发完成，并于2023-07-11向国家知识产权局提交的专利申请。

本一种基于场景图神经网络推理机制的视觉问答系统及方法在说明书摘要公布了：本发明公开了一种基于场景图神经网络推理机制的视觉问答系统及方法，包括问题嵌入模块、场景图提取模块、图神经网络注意力推理模块和答案预测模块，问题嵌入模块获取文本问题特征，文本问题通过Tokenizer模块进行词语分割和Transformer网络进行特征提取；场景图提取模块获取图像视觉特征，将特征嵌入为含有丰富图象信息的场景图；图神经网络注意力推理模块联合场景图特征和问题特征引入协同注意力推理机制进行协同注意力迭代推理，以同时关注深层文本信息和视觉信息；答案预测模块获取图神经注意力推理网络的最后迭代状态，和文本全局特征信息共同输入分类器进行答案预测。本发明性能相较于传统视觉问答模型得到显著提升。

本发明授权一种基于场景图神经网络推理机制的视觉问答系统及方法在权利要求书中公布了：1.一种基于场景图神经网络推理机制的视觉问答系统，其特征在于：包括问题嵌入模块、场景图提取模块、图神经网络注意力推理模块和答案预测模块； 所述问题嵌入模块中Tokenizer模块将输入的自然语言问题分割生成单独的分词形式，且仅保留单独的分词，然后使用Transformer思想中的多头注意力机制将分词嵌入为指令向量序列和问题全局特征向量； 所述场景图提取模块首先使用预先训练的Faster-RCNN网络对输入的图片进行实体识别，得到每个目标实体的初始目标特征向量，将初始目标特征向量输入SGG网络生成初始状态场景图； 所述图神经网络注意力推理模块根据问题嵌入模块得到的指令向量序列和场景图提取模块得到的初始状态场景图进行图神经网络协同注意力推理计算，经过设定次数的迭代计算得到所有图节点的最终状态； 所述答案预测模块利用函数总结图节点的最终状态得到消息传递后的最终状态，线性分类器根据消息传递的最终状态和问题全局特征向量预测得到答案； 采用所述系统的视觉问答方法，包括： 步骤1、使用Tokenizer模块将输入的自然语言问题分割生成单独的分词形式，且仅保留单独的分词，然后使用Transformer思想中的多头注意力机制将分词嵌入为指令向量序列和问题全局特征向量，m表示分词数量； 步骤2、使用预先训练的Faster-RCNN网络对输入的图片进行实体识别，得到每个目标实体的初始目标特征向量，为目标物体的个数，将初始目标特征向量输入SGG网络生成初始状态场景图，表示初始状态场景图中第i个目标实体对应的第i个图节点，k表示目标实体数量； 步骤3、对指令向量序列和初始状态场景图进行图神经网络协同注意力推理计算，经过迭代计算得到所有图节点的最终状态，m表示迭代网络层数； 所述初始状态场景图将空间关系和语义关系集成，具体为： ；；其中，表示第个实体的节点特征表示，表示将图节点联合步骤一中的第个问题指导向量进行推理前的准备，为线性变换权重矩阵，为ReLU激活函数，包括除了第个节点本身之外的所有节点，为节点间的注意力机制； 所述所有图节点的最终状态的第个元素满足： ；其中，为ReLU激活函数，K表示目标特征数量，包括除了第个节点本身之外的所有节点，为由第个节点注意力机制计算的归一化注意力系数，为相应的输入线性变换的权值矩阵，表示单一图层注意层第j个特征节点； 步骤4、利用函数总结图节点的最终状态得到消息传递后的最终状态，线性分类器根据消息传递的最终状态和问题全局特征向量预测得到答案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工程大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区南通大街145号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。