重庆邮电大学蔡林沁获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉重庆邮电大学申请的专利基于事实场景的可解释性视觉问答模型构建方法与系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116306681B 。
龙图腾网通过国家知识产权局官网在2025-07-08发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211623149.6,技术领域涉及:G06N3/045;该发明授权基于事实场景的可解释性视觉问答模型构建方法与系统是由蔡林沁;方豪度;许诺影;钱坤阳设计研发完成,并于2022-12-16向国家知识产权局提交的专利申请。
本基于事实场景的可解释性视觉问答模型构建方法与系统在说明书摘要公布了:本发明公开了基于事实场景的可解释性视觉问答模型构建方法与系统,获取第一数据集与第二数据集;对视觉问答模型进行预训练,获得图像特征提取网络与文本特征提取网络;权重反向传播方法对图像特征提取网络进行处理,获得图像反事实样本;开源机器学习库对文本特征提取网络进行处理,获得文本反事实样本;引入对抗性半事实样本对视觉问答模型进行迭代更新,获得视觉问答预测模型;提取特征数据,通过特征数据对视觉问答预测模型进行验证,获得可解释性视觉问答模型;本发明的有益效果为解决了当前视觉问答研究中存在的模型可解释性不强的问题,使得模型保存关键的因果信息去增强模型的推理能力,更为细粒度地去捕获图像特征和文本特征。
本发明授权基于事实场景的可解释性视觉问答模型构建方法与系统在权利要求书中公布了:1.基于事实场景的可解释性视觉问答模型构建方法,其特征在于,方法步骤包括: 获取第一数据集与第二数据集,所述第一数据集为图像-文本对数据集,所述第二数据集为视觉问答数据集; 构建视觉问答模型,并通过所述第一数据集对所述视觉问答模型进行预训练,获得图像特征提取网络与文本特征提取网络; 采用权重反向传播方法对所述图像特征提取网络进行处理,获得图像反事实样本; 所述图像反事实样本获得的子步骤包括: 采用权重反向传播WBP方法对所述图像特征提取网络进行处理,获得因果显著性图; 结合L1范数,将所述因果显著性图中的像素点值近似替换为0,获得所述图像反事实样本; 采用开源机器学习库对所述文本特征提取网络进行处理,获得文本反事实样本; 所述文本反事实样本子步骤包括: 采用开源机器学习库SHAP对所述文本特征提取网络进行处理,获得与图像相关联的问题文本中每个单词重要性评分; 结合L1范数,将评分最高的单词同意替换为MASK,获得所述文本反事实样本; 引入图像与文本的对抗性半事实样本,并结合所述图像反事实样本以及所述文本反事实样本对所述视觉问答模型进行迭代更新,获得视觉问答预测模型; 提取所述第二数据集中的特征数据,通过所述特征数据对所述视觉问答预测模型进行验证,获得可解释性视觉问答模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人重庆邮电大学,其通讯地址为:400000 重庆市南岸区南山街道崇文路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。