买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉上海交通大学申请的专利一种用于视频理解模型推理加速的视觉令牌去除方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119863739B 。

龙图腾网通过国家知识产权局官网在2026-03-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411935022.7，技术领域涉及：G06V20/40；该发明授权一种用于视频理解模型推理加速的视觉令牌去除方法是由邓志杰;刘畅设计研发完成，并于2024-12-25向国家知识产权局提交的专利申请。

本一种用于视频理解模型推理加速的视觉令牌去除方法在说明书摘要公布了：本发明提供了一种用于视频理解模型推理加速的视觉令牌去除方法，该方法基于视觉注意力收缩现象，通过分析推理预填充阶段视觉令牌的注意力权重的分布与变化，动态评估视觉令牌的重要性，筛选并移除冗余令牌，从而减少计算开销并提升推理效率。方法包括：对视频输入进行帧采样和区域划分得到具有时空结构的图像块；通过利用视觉编码器与投影器提取视觉特征并生成视觉令牌；将视觉令牌与系统令牌、文本令牌拼接形成多模态输入；跟踪文本对视觉的注意力变化趋势评估视觉令牌的重要性；通过分组与聚合方式加快识别不重要的视觉令牌，并在推理中逐步移除。在保持输出质量的同时，该方法显著降低了推理时间和内存占用。

本发明授权一种用于视频理解模型推理加速的视觉令牌去除方法在权利要求书中公布了：1.一种用于视频理解模型推理加速的视觉令牌去除方法，其特征在于：所述方法基于视觉注意力收缩现象，即利用模型推理过程中不重要的视觉信息趋向于获取更少的注意力，通过分析视频视觉语言模型在推理过程中不同层的注意力权重分布，动态评估视觉令牌的重要性，并逐步去除冗余视觉令牌；所述方法包括以下步骤： a视频输入处理：将输入视频采样为若干帧，每一帧划分为多个独立的图像块，获取初始的视觉特征； b视觉令牌生成：通过视觉编码器进一步提取视觉特征，并通过投影器映射到视觉令牌空间，视觉令牌的生成公式为： ； 其中，表示视觉令牌，表示输入的视频； c多模态输入拼接：将系统令牌、视觉令牌和文本令牌按顺序拼接，得到完整的输入序列，拼接公式为： ； d注意力权重分析：在推理预填充阶段，利用注意力机制计算文本令牌对视觉令牌的注意力权重，并根据注意力权重计算每个视觉令牌的重要性，公式为： ； 其中，表示第个视觉令牌，Attention表示第个文本令牌对第个视觉令牌的注意力权重，为文本令牌总数； e视觉令牌分组与聚合：将视觉令牌按时间维度和空间维度分组，并通过聚合公式计算各分组的重要性： ； 其中，表示视觉令牌组，表示组内单个视觉令牌的注意力； f令牌动态移除：设定开始层和结束层，并根据重要性评估结果，逐步移除加权求和后的注意力权重数值较低的视觉令牌组； g推理优化：移除冗余视觉令牌后，保留的视觉令牌与文本令牌再结合，可进行多次的动态视觉令牌移除，最终完成推理计算，从而提升推理效率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海交通大学，其通讯地址为：200240 上海市闵行区东川路800号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。