买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利一种基于视觉令牌高效处理的多模态大语言模型免训练加速方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120046656B 。

龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510115032.4，技术领域涉及：G06N3/045；该发明授权一种基于视觉令牌高效处理的多模态大语言模型免训练加速方法是由金连文;李鸿亮;张家鑫;廖文辉;彭德智设计研发完成，并于2025-01-24向国家知识产权局提交的专利申请。

本一种基于视觉令牌高效处理的多模态大语言模型免训练加速方法在说明书摘要公布了：本发明公开了一种基于视觉令牌高效处理的多模态大语言模型免训练加速方法，包括以下步骤：获取多模态问答数据，并将多模态问答数据划分为验证集和测试集；将验证集输入到目标多模态大语言模型中，并通过搜索方法来进行模型各层的冗余度排序；根据冗余度排序，将测试集输入到目标多模态大语言模型中，获取目标多模态大语言模型每一层的冗余度大小；根据冗余度大小，对目标多模态大语言模型的部分层进行关于视觉令牌处理的加速操作。本发明利用视觉令牌所需算力要少于文本令牌的特点，通过定位大语言模型中的冗余层并对其中关于视觉令牌的自注意力操作和前馈神经网络操作进行优化，实现模型推理效率的大幅提升。

本发明授权一种基于视觉令牌高效处理的多模态大语言模型免训练加速方法在权利要求书中公布了：1.一种基于视觉令牌高效处理的多模态大语言模型免训练加速方法，其特征在于，包括以下步骤： 获取多模态问答数据，并将所述多模态问答数据划分为验证集和测试集； 将所述验证集输入到目标多模态大语言模型中，并通过搜索方法来进行模型各层的冗余度排序； 搜索方法包括： 分别对所述目标多模态大语言模型L层中的每一层施加加速操作，评估所述目标多模态大语言模型在所述验证集上的指标，共执行L次评估，选择指标最高的一次评估，标记对应的层的冗余度排序为1，并保持对该层施加的加速操作，其余L-1层则与原始模型保持一致； 分别对所述目标多模态大语言模型未施加所述加速操作的L-1层施加所述加速操作，然后评估所述目标多模态大语言模型在所述验证集上的指标，共执行L-1次评估，选择指标最高的一次评估，标记对应的层的冗余度排序为2，并保持对该层施加的加速操作，其余L-2层与原始模型保持一致； 重复以上操作，直至所述目标多模态大语言模型所有层都被施加加速操作，得到每一层的冗余度排序； 所述加速操作包括对自注意力模块的加速操作和对前馈神经网络的加速操作；所述搜索方法会执行两次，分别用于确定目标多模态大语言模型各层关于自注意力模块的冗余度排序和关于前馈神经网络的冗余度排序； 对自注意力模块的加速操作包括：将视觉令牌内部的全局注意力替换为局部注意力，文本令牌内部以及视觉令牌和文本令牌之间的注意力保持不变； 对前馈神经网络的加速操作包括：对输入图片对应的视觉令牌进行随机采样； 将随机采样结果输入到原始前馈神经网络中，得到中间的激活值； 对激活值的绝对值取平均，得到反应神经元活跃度的向量； 根据反应神经元活跃度的向量选择个前馈神经网络中最活跃的神经元，并记录其索引； 根据索引选择前向推理中前馈神经网络激活的神经元； 通过部分激活的前馈神经网络处理全部的视觉令牌，得到输出； 根据所述冗余度排序，将所述测试集输入到目标多模态大语言模型中，获取目标多模态大语言模型每一层的冗余度大小； 根据所述冗余度大小，对目标多模态大语言模型的部分层进行关于视觉令牌处理的加速操作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510641 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。