买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉成都信息工程大学申请的专利云环境下基于自注意力机制的自动视频摘要方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116881500B 。

龙图腾网通过国家知识产权局官网在2026-02-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310752735.9，技术领域涉及：G06F16/738；该发明授权云环境下基于自注意力机制的自动视频摘要方法及系统是由王祖俪;黄永鑫;王娟;石磊设计研发完成，并于2023-06-25向国家知识产权局提交的专利申请。

本云环境下基于自注意力机制的自动视频摘要方法及系统在说明书摘要公布了：本发明属于计算机视觉方向领域，公开了一种基于自注意力机制的自动视频摘要方法及系统，依靠用户的原始视频作为输入，通过新的帧特征选择方法，形成集中注意力特征矩阵；再基于回归网络的视频帧重要性评分模型，采用自定义的损失函数进行校正，得到视频帧评分；该方法部署于云服务器端，在服务器端得到帧评分结果后，将结果发送至客户端，最终自动合成视频摘要。本发明克服了现有视频摘要方法对注意力信息利用不充分，帧特征信息存在重复计算导致时效性不高等问题，同时系统基于云环境进行部署，减少对客户端硬件性能的要求，实现端到端部署和训练，最终有效提升视频摘要自动生成的性能。

本发明授权云环境下基于自注意力机制的自动视频摘要方法及系统在权利要求书中公布了：1.一种云环境下基于自注意力机制的自动摘要方法，其特征在于，使用自注意力机制来计算视频帧集中注意力特征矩阵和视频帧的重要性分数，同时通过计算背离损失和摘要长度损失两个函数来对模型效果进行校正，提高视频摘要的质量和准确性； 包括以下步骤： S1：获取用户提供原始视频信息；提取原始视频的视频帧特征为1024维向量，作为输入视频帧特征； S2：计算视频帧自注意力机制矩阵；使用3个线性层，分别计算出Q、K和V矩阵；并使用Q矩阵和K矩阵相乘得出注意力机制矩阵A； S3：计算视频帧独特性； S4：形成视频帧集中注意力特征矩阵； S5：通过帧集中注意力特征矩阵，计算视频帧重要性分数； S6：计算背离损失和摘要长度损失两个函数，根据结果对模型效果进行校正； 所述S3中在计算视频帧独特性时以屏蔽相邻帧信息的原则来计算帧独特性熵，再将注意力独特性熵矩阵按行取平均值，进一步得到视频帧独特性向量； 具体地，对注意力机制矩阵A中每一个ai,j，提出新的计算公式，计算一个对应的ei,j，即： 公式1中，i，j为矩阵的行和列的值，ei,j为矩阵对应的独特性熵，ai,j为注意力矩阵对应的值，m为屏蔽相邻帧的数量，在0-60的取值，其中0表示不屏蔽相邻帧，T为视频帧总数； 公式2中ui为对应位置的帧独特性，它是由注意力熵求平均值得到； 所述S4中帧集中注意力特征矩阵的形成方法包括： 将第二步中得到的注意力机制矩阵A再做一次新的变换，即保留在第三步中没有计算的相邻帧信息，去掉上轮计算过的其他帧信息，变换后的矩阵与V矩阵相乘，得到加权的特征向量；再将视频帧的独特性向量拼接到加权的特征向量上，使其从1024维向量添加1维变成1025维向量；再使用一个线性层将1025维特征向量降维至1024维；将1024维和预训练原始视频帧1024维特征向量相加得到集中注意力特征矩阵输出； 所述S5中计算视频帧重要性分数具体为使用神经网络两层线性层，在其中插入drop层和layernorm层，最后使用sigmoid函数处理线性层结果，将帧集中注意力特征矩阵映射到0,1区间作为重要性打分依据； 所述S6中在进行模型校正时，除沿用背离损失函数外，还使用了新的校正函数帮助校正： 在模型校正时，利用帧的独特性和多样性信息，即根据所有视频帧平均分减去超参数的平方计算摘要长度损失： 其中，σ是摘要长度正则化系数，sn为模型输出的第n帧的重要性分数； 再结合原有使用重要性分数和视频帧独特性的余弦距离的平方值计算背离损失： 其中，y为整个视频的视频帧独特性向量，s为模型输出的所有视频帧重要性分数向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人成都信息工程大学，其通讯地址为：610225 四川省成都市西南航空港经济开发区学府路一段24号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。