买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中山大学申请的专利一种具有可解释性和知识启发能力的视频问答方法与系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117370608B 。

龙图腾网通过国家知识产权局官网在2025-12-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311216115.X，技术领域涉及：G06F16/783；该发明授权一种具有可解释性和知识启发能力的视频问答方法与系统是由周凡;王若梅;林格;张富为设计研发完成，并于2023-09-20向国家知识产权局提交的专利申请。

本一种具有可解释性和知识启发能力的视频问答方法与系统在说明书摘要公布了：本发明公开了一种具有可解释性和知识启发能力的视频问答方法与系统。包括：将视频输入VGG网络和I3D网络提取视频特征序列；将用户问题输入BERT网络提取问题向量表示；将视频特征序列和问题向量表示输入交叉Transformer网络和贝叶斯可微的神经网络，得到视频场景的因果表示；将问题向量表示和视频场景的因果表示输入GPT‑3模型中，通过该模型的编码‑解码结构生成知识引导的问题表示；将知识引导的问题表示输入Transformer解码网络得到用户问题的答案；通过自注意力机制、可视化工具和解释性描述，将所述知识引导的问题表示和所述用户问题的答案可视化。本发明能够提高视频问答模型的准确性、解释性和鲁棒性，从而提升用户体验和应用的实用性。

本发明授权一种具有可解释性和知识启发能力的视频问答方法与系统在权利要求书中公布了：1.一种具有可解释性和知识启发能力的视频问答方法，其特征在于，所述方法包括： 将视频输入VGG网络和I3D网络提取视频特征序列； 将用户问题输入BERT网络提取问题向量表示； 将所述视频特征序列和所述问题向量表示输入交叉Transformer网络和贝叶斯可微的神经网络，得到视频场景的因果表示； 将所述问题向量表示和所述视频场景的因果表示输入GPT-3模型中，通过该模型的编码-解码结构生成知识引导的问题表示； 将所述知识引导的问题表示输入Transformer解码网络得到所述用户问题的答案； 通过自注意力机制、可视化工具和解释性描述，将所述知识引导的问题表示和所述用户问题的答案可视化为易于用户理解的答案选择和生成的合理解释； 具体地，所述将所述视频特征序列和所述问题向量表示输入交叉Transformer网络和贝叶斯可微的神经网络，得到视频场景的因果表示，具体为： 记视频特征序列X＝{X1,X2,…,Xn}，其中记视频第i帧的视频特征为Xi，将视频特征序列X输入交叉Transformer网络，利用注意力机制，获取与所述用户问题相关的视觉特征； 将视觉特征与所述问题向量表示输入交叉Transformer网络，得到问题引导的视频特征Xiq； 将问题引导的视频特征Xiq输入贝叶斯可微的神经网络，通过反向传播算法训练和优化，得到PXi|Xi-1,Xi-2,…,X1，即在给定第1帧到第i-1帧视频特征的条件下第i帧视频特征发生的概率； 因果推理的具体计算公式如下： 其中ε是高斯采样分布的随机变量，Ik是采样个数为k的协方差矩阵，和是编码网络可学习参数化表示，是解码网络科学系参数化表示，xu是Xi经交叉Transformer网络处理后的特征，zu是经可学习参数映射的视频特征输出。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学，其通讯地址为：510006 广东省广州市海珠区新港西路135号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。