Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 西安电子科技大学张亮获国家专利权

西安电子科技大学张亮获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉西安电子科技大学申请的专利一种基于视觉概念图表示的人-模型交互解释引导方法、电子设备和存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115797498B

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211483418.3,技术领域涉及:G06T11/26;该发明授权一种基于视觉概念图表示的人-模型交互解释引导方法、电子设备和存储介质是由张亮;何湛梁;朱光明;王宁;华聪;冯明涛;宋娟;沈沛意设计研发完成,并于2022-11-24向国家知识产权局提交的专利申请。

一种基于视觉概念图表示的人-模型交互解释引导方法、电子设备和存储介质在说明书摘要公布了:本发明公开了一种基于视觉概念图表示的人‑模型交互解释引导方法、电子设备和存储介质,所述方法包括:以模型为基础提取重要图像块作为类别概念,构造结构概念图,以此为工具表示任意图像,再构建特征流动透明的推理网络模拟已有分类网络,观察概念图各部分的贡献,以实现决策的可解释;另一方面,人自主将每个部件作为一个概念,对部件进行属性整理,结合部件关系构造结构部件图。基于此,人可用类别的结构部件图更新结构概念图,重新训练推理网络,再通过知识蒸馏对原网络进行知识引导。基于这一双向交互方法,本发明可通过模型提供人易理解的推理逻辑,实现神经网络的可解释;同时允许人利用先验知识向网络提供反馈,以提高网络的性能。

本发明授权一种基于视觉概念图表示的人-模型交互解释引导方法、电子设备和存储介质在权利要求书中公布了:1.一种基于视觉概念图表示的人‑模型交互解释引导方法,其特征在于,包括以下步骤: S1,进行视觉概念的提取:根据每个类别的多张图像,使用自顶向下的梯度注意力筛选出对网络分类决策重要的区域,再利用多分辨率的分割算法得到图像块,统一调整为所需大小,通过给定分类网络将所述图像块转化为特征向量,并在向量空间内做聚类;最后利用概念评分方法得到每个聚类的潜在视觉概念的重要性分数,得到对每个类别最重要的几个视觉概念,且这里的视觉概念表现为像素点的集合,即包含有物体部分的图像块,同时,存储每个视觉概念的平均概念特征向量; S2,使用一个已有的分类网络对输入的用于识别的随机图像进行分类决策; S3,对于S2中输入图像,使用多分辨率分割算法获得图像块,计算图像块的特征,与S1中筛选出的每个类别最重要的几个视觉概念的平均概念特征向量相比较,对具体图像进行概念匹配,最终为同一个输入图像生成多个针对不同类的结构概念图,以视觉概念作为结构概念图的节点,视觉概念间结构关系作为结构概念图的边;之后,利用图卷积,对每一个所述结构概念图学习其视觉概念及其之间的关系对最终决策的影响,再把所有节点和边级联为一个向量,通过多层感知机技术输出对所有感兴趣类别的决策向量,以此完成对推理网络的训练过程,最后,通过观察结构概念图中每个节点、每条边的流动及对决策的贡献度,给出人易理解的决策解释,完成决策解释过程; S4,以每个类别的多张图像为基础,对每个类别对象按部件进行分割,把每个部件作为一个视觉概念,对每个部件进行颜色、形状、数量整理,并进行编码,作为节点特征,筛选出最重要的几个部件概念,通过部件间的空间位置关系、邻接关系,构建结构部件图; S5,利用S4得到的结构部件图对S3中的结构概念图进行更新,使用修改后的数据再训练一个新的网络,以这个新的推理网络作为教师模型1,对原分类网络决策出错的一些类进行重新训练;以原始分类网络作为教师模型2,对其余类进行训练;同时,构造一个与原神经网络具有相同体系结构且使用原神经网络的权值进行初始化的网络,作为学生模型;通过知识蒸馏的方法,两个教师模型一起提供软标签,对原神经网络进行整体知识引导,同时使用真实类别作为硬标签,提供更强的约束,以此在不改变原神经网络结构的前提下,利用人类的先验知识加强神经网络对错分类别的正确认知,提升网络的分类准确率; 所述S5中,所述对原神经网络的整体知识引导过程通过知识蒸馏进行实现,整体目标损失函数如下: 其中和是蒸馏过程中和两项各自的权值,为第一损失函数,且,代表组合软标签与学生模型输出的概率分布之间的交叉熵,其中表示原始神经网络中的总类别数,代表两个教师模型的软标签组合后类的概率值,为温度下学生网络预测的类的概率值,具体形式如下: 其中、、分别表示学生网络、教师模型1和教师模型2的输入;分别代表教师模型1和教师模型2在进行知识蒸馏时采用的温度值;表示原始神经网络中的总类别的集合,表示总类别数,代表修改类的集合,代表修改类的数量; ,表示原始神经网络中个修改类相对于所有类的概率比例; 为第二损失函数,且,代表图像真实类别标签与学生模型在时输出的概率分布之间的交叉熵;其中为类的真实类别标签,为时学生网络预测中类的概率值,且。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安电子科技大学,其通讯地址为:710071 陕西省西安市太白南路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。