买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江南大学申请的专利一种视频描述生成方法、装置及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115661710B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211303545.0，技术领域涉及：G06V20/40；该发明授权一种视频描述生成方法、装置及存储介质是由徐天阳;张赟捷;宋晓宁;赖丽娜;朱学峰;吴小俊设计研发完成，并于2022-10-24向国家知识产权局提交的专利申请。

本一种视频描述生成方法、装置及存储介质在说明书摘要公布了：本发明涉及视频理解技术领域，尤其是指一种视频描述生成方法、装置及计算机存储介质。本发明所述的视频描述生成方法，提出了时间注意和融合注意，并向每个帧特征在线添加一个标记来表示全局特征，让这些标记进行交互，以便在帧与帧之间进行信息的传递和交互，首先，使用时间注意交互所有的标记，学习输入视频的视频帧之间的时间关系，接下来，将时间注意处理过的标记与最终特征内的每一个特征向量相级联，然后输入到融合注意，融合注意使全部特征相交互，使得经过融合注意之后输出的特征包含视频帧之间的时间关系；本发明将预训练模型得到的空间特征和时序信息相结合，捕获视频帧之间的时间线索，最终能够得到更充分的特征表示，提高了预测精度。

本发明授权一种视频描述生成方法、装置及存储介质在权利要求书中公布了：1.一种视频描述生成方法，其特征在于，包括： 将视频片段输入训练好的视频描述生成模型中；视频描述生成模型的训练方法包括：构建训练集，训练集中的一个训练样本为一个视频片段和其对应的多句标注文本；利用训练集训练视频描述生成模型，调节模型参数直至总损失收敛；其中，针对任意一训练样本，总损失的计算过程为：将该训练样本的视频片段输入预训练视频编码器提取得到多个视频帧训练特征；将该训练样本的多句标注文本输入文本编码器提取得到多个单词训练特征和多个句子训练特征；根据多个视频帧训练特征和多个单词训练特征计算第一对比损失；对多个视频帧训练特征进行平均池化得到平均池化训练特征，并将平均池化训练特征分别与多个视频帧训练特征进行级联，得到多个最终帧训练特征；将多个最终帧训练特征进行平均池化得到全局视频训练特征；根据多个句子训练特征和全局视频训练特征计算第二对比损失；根据该训练样本计算视频描述生成模型的对称交叉熵损失；根据第一对比损失、第二对比损失和对称交叉熵损失计算总损失； 所述第一对比损失的函数定义为： ； ； ； 其中，是单词项和帧特征项之间的相似性函数，是单词项和帧特征项之间的相似性函数，是单词项和帧特征项之间的相似性函数，是一个句子中的单词数，和表示帧到单词和单词到帧的损失项； 所述第二对比损失的函数定义为： ； ； ； 其中，是文本项和视频项之间的相似性函数，是文本项和视频项之间的相似性函数，是文本项和视频项之间的相似性函数，并且是一个批次中的句子数，和表示视频到文本和文本到视频的损失项； 利用预训练视频编码器提取多个视频帧特征； 对所述多个视频帧特征进行平均池化得到平均池化特征，并将所述平均池化特征分别与所述多个视频帧特征进行级联，得到多个最终帧特征； 为所述多个最终帧特征在线添加一个标记，所述标记为随机生成的特征向量，使用时间注意力交互所有的标记，将多个最终帧特征分别与对应的时间注意力处理过的标记级联，并将与标记级联后的多个最终帧特征通过融合注意力相交互，得到多个时间帧特征； 将丢弃标记后的多个时间帧特征输入第一Transformer编码器—解码器模块，预测生成第一字幕。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江南大学，其通讯地址为：214000 江苏省无锡市梁溪区庆丰路258号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。