厦门渊亭信息科技有限公司;湖南渊亭智能科技有限公司黄在斌获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉厦门渊亭信息科技有限公司;湖南渊亭智能科技有限公司申请的专利一种多模态跨领域的问答数据构造方法、装置以及设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120493947B 。
龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510970208.4,技术领域涉及:G06F40/35;该发明授权一种多模态跨领域的问答数据构造方法、装置以及设备是由黄在斌;俞婷婷;钱智毅设计研发完成,并于2025-07-15向国家知识产权局提交的专利申请。
本一种多模态跨领域的问答数据构造方法、装置以及设备在说明书摘要公布了:本发明公开了一种多模态跨领域的问答数据构造方法、装置以及设备,包括:对获取的通用领域图文问答数据中的问题文本进行句法分析,生成问题模板,基于所述问题模板构建通用问答模板库;对待处理的目标领域图像数据进行特征提取,得到图像描述信息;通过结合所述通用问答模板库以及所述图像描述信息,生成目标领域问题文本;将所述目标领域问题文本以及所述目标领域图像数据输入至多模态问答模型中,生成答案文本,并将所述答案文本、所述目标领域问题文本作为目标领域图像问答对数据。本申请能够针对不同领域实现高效、灵活且准确的问答数据的生成。
本发明授权一种多模态跨领域的问答数据构造方法、装置以及设备在权利要求书中公布了:1.一种多模态跨领域的问答数据构造方法,其特征在于,所述方法包括: 对获取的通用领域图文问答数据中的问题文本进行句法分析,生成问题模板,基于所述问题模板构建通用问答模板库; 对待处理的目标领域图像数据进行特征提取,得到图像描述信息; 其中,所述对待处理的目标领域图像数据进行特征提取,得到图像描述信息,包括: 使用预训练的ResNet模型提取所述目标领域图像数据的全局视觉特征向量,以及将所述目标领域图像数据输入视觉语言模型,生成全局描述; 通过目标检测模型识别所述目标领域图像数据中的目标区域,得到对应各目标区域的边界框坐标以及局部视觉特征向量; 对所述目标领域图像数据进行裁剪,得到多个裁剪区域图像,将多个所述裁剪区域图像输入视觉语言模型,生成对应每一所述裁剪区域图像的多个候选描述词; 根据多个所述候选描述词确定对应所述裁剪区域图像的目标实体名称,并基于所述全局描述以及所述目标实体名称生成对应每一所述裁剪区域图像的区域结构化描述; 基于所述边界框坐标以及所述区域结构化描述生成视觉关系三元组,将所述全局视觉特征向量、所述全局描述、所述局部视觉特征向量以及所述视觉关系三元组作为所述图像描述信息; 通过结合所述通用问答模板库以及所述图像描述信息,生成目标领域问题文本;其中,所述通过结合所述通用问答模板库以及所述图像描述信息,生成目标领域问题文本,包括: 从所述图像描述信息中提取实体,将提取的实体按照问题类型填充至对应的所述问题模板中的槽位,得到所述目标领域问题文本; 利用多模态预训练模型计算所述目标领域问题文本与所述目标领域图像数据的相似度,当相似度大于预设值时,保留所述目标领域问题文本,否则,删除所述目标领域问题文本; 将所述目标领域问题文本以及所述目标领域图像数据输入至多模态问答模型中,生成答案文本,并将所述答案文本、所述目标领域问题文本作为目标领域图像问答对数据。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人厦门渊亭信息科技有限公司;湖南渊亭智能科技有限公司,其通讯地址为:361000 福建省厦门市软件园二期望海路61号801单元N8-01;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。