买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京中科闻歌科技股份有限公司申请的专利多模态图表问答大模型构建方法、电子设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119692472B 。

龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411760334.9，技术领域涉及：G06N5/04；该发明授权多模态图表问答大模型构建方法、电子设备和存储介质是由郝艳妮;李彤;王庆立;徐楠;李军锋;曹家;罗引;王磊设计研发完成，并于2024-12-03向国家知识产权局提交的专利申请。

本多模态图表问答大模型构建方法、电子设备和存储介质在说明书摘要公布了：本发明提供了一种多模态图表问答大模型构建方法、电子设备和存储介质，包括：基于第一样本数据集对图文对齐模型进行训练，得到训练好的图文特征对齐模型；其中，第一样本数据集中包括图像样本和对应的文本内容；基于第二样本数据集对具有训练好的图文特征对齐模型的多模态图表问答大模型进行训练，得到训练后的多模态图表问答大模型，作为最终的多模态图表问答大模型，第二样本数据集包括图表样本的上下文表示信息、图像和问答对数据。本发明得到的多模态图表问答大模型相对于现有的多模态图表问答大模型的图表问答能力能够得到进一步提升，且具有较强的中文理解能力。

本发明授权多模态图表问答大模型构建方法、电子设备和存储介质在权利要求书中公布了：1.一种多模态图表问答大模型构建方法，其特征在于，所述多模态图表问答大模型包括大语言模型、视觉模型和图文特征对齐模型，所述方法包括如下步骤： S100，基于第一样本数据集对图文特征对齐模型进行训练，得到训练好的图文特征对齐模型；其中，第一样本数据集中包括n1个图文对数据，其中，每个图文对数据包括对应的样本图像和文本内容，其中，样本图像为图表图像或者非图表图像，图表图像的文本内容包括上下文表示信息和图表中的数值信息，所述上下文表示信息包括图表中的标题、图例、X轴信息和Y轴信息，图例包括标签类别和颜色信息； S200，基于第二样本数据集对具有训练好的图文特征对齐模型的多模态图表问答大模型进行训练，得到训练后的多模态图表问答大模型，作为最终的多模态图表问答大模型；其中，在中间多模态图表问答大模型的训练过程中，仅更新所述大语言模型和所述图文特征对齐模型的参数，其中，第二样本数据集包括n2个指令数据，每个指令数据包括对应的图表样本的上下文表示信息、图表图像和问答对数据； 其中，S100具体包括： S110，基于第一样本数据集和冻结的视觉模型对初始多模态图表问答大模型中的图文特征对齐模型进行第一阶段训练，得到进行了第一阶段训练后的图文特征对齐模型，作为中间图文特征对齐模型； S120，基于第一样本数据集和冻结的大语言模型对所述中间图文特征对齐模型进行第二阶段训练，得到进行了第二阶段训练后的图文特征对齐模型，作为训练好的图文特征对齐模型； 所述第二样本数据集通过如下步骤获取： S10，获取公开图表数据集的图表数据； S11，采用多模态大模型获取图表数据中的上下文表示信息； S12，利用自生成指令框架基于图表数据生成对应的第一问题Q1； S13，利用大语言模型对Q1进行更改，得到复杂度更大的第二问题Q2； S14，将图表数据的上下文表示信息、Q2和图表数据对应的图表图像保存成结构化形式，得到对应的结构化数据，并利用多模态大模型生成所述结构化数据的初始答案； S15，对所述初始答案进行审核，得到审核后的初始答案，作为Q2的最终答案； S16，将Q2和Q2的最终答案保存成json形式，得到图表数据的问答对数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京中科闻歌科技股份有限公司，其通讯地址为：100190 北京市海淀区北四环西路9号楼7层717室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。