买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西北工业大学申请的专利基于级联时空注意力网络的高效细粒度视频对话生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118364072B 。

龙图腾网通过国家知识产权局官网在2026-02-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410413641.3，技术领域涉及：G06F16/3329；该发明授权基于级联时空注意力网络的高效细粒度视频对话生成方法是由郭斌;王豪;陈梦琦;张秋韵;丁亚三;张盈;於志文设计研发完成，并于2024-04-08向国家知识产权局提交的专利申请。

本基于级联时空注意力网络的高效细粒度视频对话生成方法在说明书摘要公布了：本申请的实施例涉及视频对话生成技术领域，特别涉及一种基于级联时空注意力网络的高效细粒度视频对话生成方法，包括：将待处理视频输入至视觉Transformer模型中，获得视觉语义特征；将与待处理视频对应的对话上下文输入至BERT模型中，获得对话上下文语义特征；利用级联时空注意力网络，基于对话上下文语义特征和视觉语义特征，得到与对话上下文相关的视频片段集合和空间区域集合，并基于这两个集合得到视频时空特征；利用迭代式跨模态交叉注意力网络，基于对话上下文和视频时空特征，得到跨模态交互语义特征；基于跨模态交互语义特征生成对话回复，从而准确捕捉视频与对话上下文之间的语义关联，生成高质量的对话回复。

本发明授权基于级联时空注意力网络的高效细粒度视频对话生成方法在权利要求书中公布了：1.一种基于级联时空注意力网络的高效细粒度视频对话生成方法，其特征在于，所述方法包括： S1，将待处理视频输入至预训练的视觉Transformer模型中，获得所述视觉Transformer模型输出的视觉语义特征；其中，所述视觉Transformer模型将所述待处理视频切分为个等长度的视频片段，每个视频片段被切分为个视频帧，每个视频帧被切分为个空间区域，、和均为大于0的整数； S2，将与所述待处理视频对应的对话上下文输入至预训练的BERT模型中，获得所述BERT模型输出的对话上下文语义特征； S3，利用预训练的级联时空注意力网络，基于所述对话上下文语义特征和所述视觉语义特征进行相关匹配，在时间维度上定位与所述对话上下文最相关的视频片段集合，在空间维度上定位与所述对话上下文最相关的空间区域集合，并基于所述视频片段集合和所述空间区域集合得到视频时空特征； S4，利用预训练的迭代式跨模态交叉注意力网络，基于所述待处理视频对应的对话上下文和所述视频时空特征，得到跨模态交互语义特征； S5，利用预训练的跨模态回复解码器，基于所述跨模态交互语义特征生成与所述待处理视频对应的对话回复； 所述利用预训练的级联时空注意力网络，基于所述对话上下文语义特征和所述视觉语义特征进行相关匹配，在时间维度上定位与所述对话上下文最相关的视频片段集合，在空间维度上定位与所述对话上下文最相关的空间区域集合，并基于所述视频片段集合和所述空间区域集合得到视频时空特征，包括： S301，使用第一单词池化方法，将所述对话上下文语义特征的单词序列中的第一个单词的向量作为对话上下文特征； S302，使用所述第一单词池化方法，将所述视觉语义特征中的各空间区域特征序列中的第一个空间区域特征，作为对应的视频帧的视频帧特征，并将属于同一个视频片段的各视频帧的视频帧特征进行平均池化操作，得到所述视频片段的视频片段特征； S303，基于所述对话上下文特征和各所述视频片段特征，计算各所述视频片段与所述对话上下文的匹配分数； S304，利用Gumbel-Softmax技术，基于各所述视频片段与所述对话上下文的匹配分数，对各所述视频片段执行离散注意力，得到第一独热向量；其中，所述第一独热向量用于表征各所述视频片段与所述对话上下文的相关概率值； S305，选取所述第一独热向量中相关概率值最高的视频片段作为与所述对话上下文最相关的视频片段，并结合所述第一独热向量获得选取的视频片段的视频片段特征； S306，将步骤S303至步骤S305重复执行次，将选取的个视频片段组合成与所述对话上下文最相关的视频片段集合，并将结合所述第一独热向量获得的个视频片段的视频片段特征组合成所述视频片段集合对应的视频时间特征；为大于1的整数； S307，基于所述视觉语义特征中的各空间区域特征序列，获得所述视频片段集合对应的各空间区域特征序列； S308，基于所述对话上下文特征和所述视频片段集合对应的各空间区域特征序列中的空间区域特征，计算各空间区域与所述对话上下文的匹配分数； S309，利用所述Gumbel-Softmax技术，基于各空间区域与所述对话上下文的匹配分数，对各所述空间区域执行离散注意力，得到第二独热向量；其中，所述第二独热向量用于表征各空间区域与所述对话上下文的相关概率值； S310，选取所述第二独热向量中相关概率值最高的空间区域作为与所述对话上下文最相关的空间区域，并结合所述第二独热向量获得选取的空间区域的空间区域特征； S311，将步骤S308至步骤S310重复执行次，将选取的个空间区域组合成与所述对话上下文最相关的空间区域集合，并将结合所述第二独热向量获得的个空间区域的空间区域特征组合成所述空间区域集合对应的视频空间特征；为大于1的整数； S312，将所述视频时间特征和所述视频空间特征进行拼接，得到所述待处理视频对应的视频时空特征； 所述利用预训练的迭代式跨模态交叉注意力网络，基于所述待处理视频对应的对话上下文和所述视频时空特征，得到跨模态交互语义特征，包括： S401，利用预训练的迭代式跨模态交叉注意力网络的嵌入层对所述对话上下文进行特征提取，得到对话上下文特征； S402，利用所述迭代式跨模态交叉注意力网络的自注意力层对所述对话上下文特征进行自注意力提取，得到对话上下文语义依赖特征； S403，利用所述迭代式跨模态交叉注意力网络的交叉注意力层，对所述对话上下文语义依赖特征和所述视频时空特征进行交叉注意力提取，得到时空语义关联特征； S404，将步骤S403重复执行次，对获得的个时空语义关联特征进行平均池化操作，得到跨模态交互语义特征；为大于1的整数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西北工业大学，其通讯地址为：710072 陕西省西安市碑林区友谊西路127号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。