买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉快际新云(青岛)科技有限公司申请的专利一种基于多层注意力机制的轻量化多模态表示学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121051701B 。

龙图腾网通过国家知识产权局官网在2026-01-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511576898.1，技术领域涉及：G06F18/25；该发明授权一种基于多层注意力机制的轻量化多模态表示学习方法是由邵志伟;许光年;明归来设计研发完成，并于2025-10-31向国家知识产权局提交的专利申请。

本一种基于多层注意力机制的轻量化多模态表示学习方法在说明书摘要公布了：本发明公开一种基于多层注意力机制的轻量化多模态表示学习方法，属于多模态数据处理技术领域，旨在解决多模态表示学习中表示能力与计算效率难以兼顾的问题。该方法包括：获取计算节点采集的原始多模态数据，并预处理生成各模态的基础特征；通过简化视觉Transformer、轻量级BERT变体和时间卷积网络的轻量提取器提取各模态的高层语义特征，经含模态内、跨模态和全局融合注意力的分层注意力机制模型融合生成低维跨模态向量；对分层注意力机制模型结构剪枝优化得轻量化模型，以低维跨模态向量为基准训练轻量化模型后，部署计算节点用于多模态上层任务需求。本发明兼顾表示能力与计算效率，适配低算力需求计算节点，保障任务精度与实时性。

本发明授权一种基于多层注意力机制的轻量化多模态表示学习方法在权利要求书中公布了：1.一种基于多层注意力机制的轻量化多模态表示学习方法，其特征在于，包括以下步骤： S1.获取计算节点采集的原始多模态数据，并对原始多模态数据进行预处理，生成各模态数据的基础特征，所述原始多模态数据为图像数据、文本数据和语音数据； S2.对各模态数据的基础特征分别使用轻量级特征提取器提取各模态数据的高层语义特征，并构建分层注意力机制模型，将各模态数据的高层语义特征通过分层注意力机制模型进行跨模态融合，生成低维跨模态向量； S3.对分层注意力机制模型进行轻量化优化，形成轻量化模型，所述分层注意力机制模型为三层级结构，具体包括模态内注意力层、跨模态注意力层和全局融合注意力层； 所述模态内注意力层，用于以各模态数据的高层语义特征为输入，通过空间注意力、词级自注意力和时序注意力过滤各模态数据的高层语义特征中的冗余信息，输出各模态数据的局部特征； 所述跨模态注意力层，用于将各模态数据的局部特征通过共享全连接层投影至同一语义空间，得到图像对齐特征、文本对齐特征和语音对齐特征，并以文本对齐特征为锚点计算图像对齐特征与文本对齐特征以及语音对齐特征与文本对齐特征的余弦相似度生成注意力分数，按注意力分数加权融合得到跨模态关联特征； 所述全局融合注意力层，用于将各模态数据的局部特征与跨模态关联特征进行拼接后，通过门控网络学习通道权重筛选关键信息，经维度压缩输出低维跨模态向量； 所述分层注意力机制模型通过结构剪枝进行轻量化优化，具体过程包括：通过L1范数分别对模态内注意力层中空间注意力、词级自注意力和时序注意力的各注意力头计算贡献度，移除各注意力头中贡献度排名后30%-50%的注意力头，同时对空间注意力、词级自注意力和时序注意力的输出投影全连接层分别通过梯度范数进行敏感性分析，移除输出投影全连接层中20%的冗余神经元； 对全局融合注意力层的门控网络，移除门控网络输入层的输入通道中激活值占比＜5%的输入通道，同时移除门控网络输出层中权重绝对值≤1e-4的神经元； S4.对轻量化模型以低维跨模态向量为训练基准进行训练，得到轻量化多模态模型； S5.将轻量化多模态模型部署到计算节点，用于计算节点的多模态上层任务需求。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人快际新云(青岛)科技有限公司，其通讯地址为：266000 山东省青岛市高新区新业路31号远创国际蓝湾创意园B6号楼一层102；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。