买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于深度交互适配网络模型的通用多模态学习方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116882477B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310847953.0，技术领域涉及：G06N3/084；该发明授权一种基于深度交互适配网络模型的通用多模态学习方法是由余宙;王眺;俞俊设计研发完成，并于2023-07-11向国家知识产权局提交的专利申请。

本一种基于深度交互适配网络模型的通用多模态学习方法在说明书摘要公布了：本发明公开了一种基于深度交互适配网络模型的通用多模态学习方法。本发明步骤：1、获取图像单模态以及文本单模态的预训练模型，在两个预训练模型之间增设多模态适配器模块，2、分别加载图像和文本单模态模型的预训练权重参数并保持其不变，在多模态下游任务上微调训练所设计的适配器的权重参数，3、利用所微调的多模态适配器模型在多模态下游任务上进行推理部署。本发明通过为图像和文本两个单模态的预训练模型构建外部适配器网络，提取两个单模态模型的分层次特征，使用所构建的适配器进行多模态细粒度对齐融合，使单模态预训练模型可以迅速适用于多种多模态任务，并获得可与大规模多模态预训练模型相比的性能。

本发明授权一种基于深度交互适配网络模型的通用多模态学习方法在权利要求书中公布了：1.一种基于深度交互适配网络模型的通用多模态学习方法，其特征在于包括如下步骤： 步骤1：获取图像单模态预训练模型和文本单模态预训练模型，在两个预训练模型之间增设多模态适配器模块； 步骤2：加载单模态模型的预训练权重参数并保持其不变，在多模态下游任务上微调训练所设计的适配器的权重参数； 步骤3：利用所微调的多模态适配器模型在多种不同多模态下游任务上进行推理； 步骤1所述的增设多模态适配器模块，包括以下子步骤： 步骤1.1  对选取的单模态预训练模型进行分层； 将单模态模型的部分堆叠重复的编码器进行分层，每一层块分配数量相等的编码器； 此分层操作仅对编码器模块进行分层，不对模型前向计算时编码器的前后次序进行调整； 对选取的图像预训练模型和文本预训练模型进行分层操作，使两个模型分得数目相同的层块，分别表示为和； 步骤1.2  在两个单模态预训练模型的分层之间增设多模态适配器； 对模型进行分层完成后，在每两个层块之间增设多模态适配器； 对单模态模型而言，增设的多模态适配器位置处于和之间； 多模态适配器接受图像模型和文本模型的分层和的输出作为输入； 其计算得到的输出与输入形状相同，之后此计算输出又会加回到图像模型和文本模型的分层输出中； 步骤1.2中多模态适配器接受图像模型和文本模型的分层和的输出作为输入，计算得到与输入形状相同的适配器输出后又会加回到图像模型和文本模型的分层输出中；公式如下： ； ； ； ； 其中，表示第i个分层输出的图像特征，表示第i个分层输出的文本特征；表示多模态适配器模块，表示多模态适配器输出的第i个分层的图像特征，表示多模态适配器输出的第i个分层的文本特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市钱塘区白杨街道2号大街1158号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。