买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华东师范大学申请的专利一种基于图神经网络的图表问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115375984B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211142426.1，技术领域涉及：G06V10/80；该发明授权一种基于图神经网络的图表问答方法是由沈祺玮;贺樑;肖路巍;吴兴蛟;马天龙;何峻设计研发完成，并于2022-09-20向国家知识产权局提交的专利申请。

本一种基于图神经网络的图表问答方法在说明书摘要公布了：本发明公开了一种基于图神经网络的图表问答方法，包括以下步骤：a使用视觉图神经网络和双向长短时记忆网络分别建模图表和文本两种模态特征,然后对得到的图表和文本两种特征表示拼接后进行跨模态特征融合；b使用1X1卷积核以及双向GRU对拼接后得到的跨模态特征表示进行第一阶段特征融合，得到低阶跨模态特征表示；c使用多头自注意力机制和密集连接的图卷积网络对低阶跨模态特征表示进行第二阶段特征融合，提取跨模态语义依存关系，得到高阶跨模态特征表示；d将高阶跨模态特征表示输入一个全连接网络，最后再输入分类器预测问题答案。本发明相较于现有方法具有特征提取能力强，跨模态信息融合程度高，可在一定程度上提升图表问答的准确度。

本发明授权一种基于图神经网络的图表问答方法在权利要求书中公布了：1.一种基于图神经网络的图表问答方法，其特征在于，该方法包括以下具体步骤： 步骤1：利用视觉图神经网络和双向长短时记忆网络分别提取图像和文本两部分模态特征表示，并将两部分模态特征表示对齐后拼接，得到跨模态特征表示； 步骤2：对跨模态特征表示进行第一阶段特征融合，得到低阶跨模态特征表示； 步骤3：对低阶跨模态特征表示进行第二阶段特征融合，得到高阶跨模态特征表示； 步骤4：将高阶跨模态特征表示输入分类器中，得到问答预测结果；其中： 所述步骤1具体为： 1.1：以从FigureQA数据集采集得到的科学图表即垂直柱状图、水平柱状图、折线图、饼图以及散点图和所述科学图表对应的问题以及人工标注后的答案作为训练集和验证集，训练集和验证集采集比例为8∶2；其中，所述的人工标注即对问题给出的答案； 1.2：利用视觉图神经网络对科学图表的视觉信息进行建模；首先将整张科学图表网格化处理分解为多个子图，然后将每个子图的RGB三通道矩阵在通道方向进行展平，将每个子图表示为一个向量；将每个子图看作一个节点，利用K近邻算法计算与当前节点距离最近的K个节点，并且将当前节点与这K个节点建立对应依存关系；以此迭代，构造出每个子图与其他子图之间的依存关系矩阵，然后将所有子图表示向量与依存关系矩阵输入图神经网络中，建模图像的特征表示； 1.3：对输入文本进行预处理；问题中每个单词对应的词向量利用BERT得到，然后将整个问题输入双向长短时记忆网络进行序列建模，得到文本特征表示； 1.4：将图像特征表示的通道维度与文本特征表示的单词维度对齐后拼接，得到跨模态特征表示； 所述步骤2具体为： 2.1：对跨模态特征表示进行第一阶段特征融合；利用卷积核为1x1的卷积神经网络，对跨模态特征表示进行特征提取； 2.2：将卷积核为1x1的卷积神经网络提取到的跨模态特征表示输入双向GRU网络中，进行跨模态特征融合，得到低阶跨模态特征表示； 所述步骤3具体为： 3.1：对低阶跨模态特征表示进行第二阶段特征融合；对第一阶段特征融合后得到的低阶跨模态特征表示使用多头自注意力机制，根据头数生成多个自注意力矩阵；对多个自注意力矩阵进行平均池化，然后得到交互注意力权重矩阵； 3.2：将经过第一阶段特征融合后得到的低阶跨模态特征表示与交互注意力权重矩阵，输入一个密集连接的深度图卷积网络，建模文本与图像之间的语义依存关系，得到一个中阶跨模态特征表示； 3.3：将中阶跨模态特征表示进行平均池化操作，得到高阶跨模态特征表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华东师范大学，其通讯地址为：200241 上海市闵行区东川路500号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。