买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利基于自然语言知识描述引导的可解释性行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115761886B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211448907.5，技术领域涉及：G06V40/20；该发明授权基于自然语言知识描述引导的可解释性行为识别方法是由张亮;王宁;华聪;朱光明;李洪升;冯明涛;宋娟;沈沛意设计研发完成，并于2022-11-18向国家知识产权局提交的专利申请。

本基于自然语言知识描述引导的可解释性行为识别方法在说明书摘要公布了：本发明公开了基于自然语言知识描述引导的可解释性行为识别方法，包括：①对RGB视频应用目标检测器和特征提取器，将检测出的实体和对应的特征组织为时序图结构；②基于时序图提取视频的时空特征，并使用可微离散值估计器对视频的时空特征进行分段；③构建与视频内容相关的描述前缀树；④将描述前缀树中节点与视频分段进行匹配，使用节点所对应的文本描述解释视频的识别过程；⑤设计特征空间鉴别器，消除时空特征与文本特征之间的域间误差。本发明对神经网络识别视频行为过程进行了解释，同时还对视频的每个分段的决策过程进行解释，避免了因识别网络易受攻击而导致在许多具有严格安全要求的现实场景中的应用限制。

本发明授权基于自然语言知识描述引导的可解释性行为识别方法在权利要求书中公布了：1.基于自然语言知识描述引导的可解释性行为识别方法，其特征在于，包括以下步骤： 1将RGB视频编码为时序图结构； 1a输入为RGB视频帧{It}，t＝1,…,T，以及行为标签a，使用离线目标检测器检测每帧中N个实体，所述实体为人或物体；以这些实体作为节点，帧内各节点两两相连，帧间相同实体节点按时间顺序相连组成时序图结构； 1b根据目标检测器检测结果提取每个实体的外观特征、空间特征、语义特征，将这些特征组合为节点特征实例化图中相对应的节点； 2时空特征提取； 2a在每一帧中，以任意节点为中心，通过以人为中心的卷积，聚合其自身和邻近对象节点的特征得到更新后的节点特征若场景中仅存在物体，则设置一个虚拟节点作为人节点进行特征聚合，虚拟节点由与其他节点相同尺度的全零向量初始化； 2b重复步骤2a若干次得到细化后的节点特征，采用平均池化法为每帧提取空间特征向量mt；采用双向GRU为每帧空间特征向量mt提取特征向量ht，编码每帧特征之间的时序依赖； 2c使用可微离散值估计器GSM对空间特征向量mt和时空特征向量ht进行估计，判断当前时刻t是否为分段结尾，若是则将当前时刻的时空特征ht作为一个分段的时空特征vk，视频分段时空特征表示为V＝{vk}，k＝1,…,K； 3动作分类器； 3a视频分段时空特征分别经过多层感知机得到每个分段的行为分类得分，取所有分段的平均分类得分作为最终得分sp； 4构建描述前缀树； 4a输入为视频行为标签对应的描述文档数据库为步骤1a中的行为标签a和实体类别匹配出最相关的一组文档特别的，推理阶段使用实体类别进行匹配； 4b将每个文档中句子解析为短语链表并将链表中重复的句子合并，使用一个前缀树存储和组织链表中的元素； 4c利用Bert模型对前缀树中的句子进行分词编码得到单词级别的特征wi，并输入到双向GRU得到句子的上下文特征si； 4d按照步骤4b中前缀树的结构组织每个句子的上下文特征si得到描述前缀树； 5特征空间鉴别； 5a输入为编码每帧空间特征之间时序依赖的GRUmt和编码句子上下文特征的GRUwi； 5b采用GAN网络的域分类器D鉴别该GRU网络的输出，以对齐跨域的特征分布； 5c使用梯度反向层GRL连接GRU网络和域分类器D，GRL将GRU网络的输出输入到域分类器D中，在正向传播时不会对GRU网络输出的元素做出任何改变，而在反向传播时将梯度反转； 6特征相似性匹配； 6a输入为当前时间步对应的分段时空特征vk和上一时间步在描述前缀树中选定的节点对应的子树节点特征{si}i＝1,…,M； 6b采用CosineSimilarity对每个子树节点特征和分段时空特征计算相似性得分取得分最高的子树节点对应的文本描述作为视频分段的描述； 6c重复步骤4a和步骤4b遍历所有分段时空特征，得到整个视频的分段描述每个分段的描述解释了行为的识别过程。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。