买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉福州掌中云科技有限公司;福州掌联科技有限公司;杭州玩阅互动网络科技有限公司申请的专利一种基于多模态深度学习的投流素材效果预测方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120374200B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510874763.7，技术领域涉及：G06Q30/0242；该发明授权一种基于多模态深度学习的投流素材效果预测方法及系统是由洪江文;周柳鸿;洪素华;林谋洪设计研发完成，并于2025-06-27向国家知识产权局提交的专利申请。

本一种基于多模态深度学习的投流素材效果预测方法及系统在说明书摘要公布了：本发明涉及一种基于多模态深度学习的投流素材效果预测方法及系统，包括以下步骤：S1:获取素材数据，并标注每个素材数据的历史效果；S2:对采集的素材数据进行预处理：S3:基于多模态特征提取与融合网络，对预处理后的素材数据进行特征提取与融合，得到融合后的多模态特征向量；S4:构建多任务预测模型并基于融合后的多模态特征向量训练,对多任务预测模型校准与不确定性分析，得到最终的多任务预测模型；S5:新素材上传后，调用最终的多任务预测模型，输出预测结果，并根据预测结果排序素材，优先投放高CTR且高CVR的素材组合。本发明显著提升投流素材效果预测的预测精度。

本发明授权一种基于多模态深度学习的投流素材效果预测方法及系统在权利要求书中公布了：1.一种基于多模态深度学习的投流素材效果预测方法，其特征在于，包括以下步骤： S1:获取素材数据，并标注每个素材数据的历史效果； S2:对采集的素材数据进行预处理： S3:基于多模态特征提取与融合网络，对预处理后的素材数据进行特征提取与融合，得到融合后的多模态特征向量； S4:构建多任务预测模型并基于融合后的多模态特征向量训练，对多任务预测模型校准与不确定性分析，得到最终的多任务预测模型； S5:新素材上传后，调用最终的多任务预测模型，输出预测结果，并根据预测结果排序素材，优先投放高CTR且高CVR的素材组合； 所述多模态特征提取与融合网络通过主干网络提取图像特征、视频特征、文本特征和结构化特征，并通过分阶段融合策略，将图像、文本、视频、结构化特征多模态信息映射到统一语义空间，生成强表征能力的融合特征向量； 所述主干网络，具体如下： 图像视频主干网络采用SwinTransformer，输入预处理后的图像I或视频关键帧序列It； 输出单图像特征fimg： ； 其中，为SwinTransformer骨干网络，用于提取图像帧的全局特征； 视频特征fvid： ； 其中，T为采样的视频帧数，t用于遍历采样的视频帧数； 文本主干网络采用BERT-Base，输入分词后的文本Token序列，输出取CLS向量作为全局语义表征ftxt： ； 其中，Tokens为分词后的文本序列；为BERT-Base骨干网络，对Tokens编码; 结构化特征提取： 类别型特征： ； 其中，Categoryi为第i个类别型特征；ei为第i个类别型特征的嵌入向量；为嵌入操作； 数值型特征通过标准化处理后直接拼接，得到fnum： ； 其中，分别为对历史CTR、曝光量数值特征做标准化后的值；Concat为拼接函数； 最终结构化特征f meta ： ； 其中，为全连接多层感知机； 所述分阶段融合策略通过早期对齐、中期交互、晚期聚合，充分挖掘模态间显式与隐式关联，具体如下： 早期融合，通过线性投影将多模态特征映射至统一空间，降低异构特征差异： 其中，为图像特征到融合空间的线性映射矩阵；为文本特征到融合空间的线性映射矩阵；为结构化特征到融合空间的线性映射矩阵；、、分别为对应的偏置；、、分别为图像特征、文本特征和结构特征经过投影后的统一模态特征； 中期交互，结合Cross-Attention和TransformerEncoder，进行跨模态交互建模，允许图像与文本动态交互： ； 其中，分别为查询、键和值矩阵；WQ，WK，WV分别为将对应特征映射为Q、K、V空间的权重矩阵；d为特征维度； 输出： ； 其中，hcross为跨模态交互后的融合特征；为对张量归一化；AttentionQ,K,V为注意力计算输出； 将跨模态交互后的融合特征输入TransformerEncoder： ； 其中，Henc为编码后的多模态序列表示； 晚期融合，采用门控注意力池化和双线性交互增强，捕捉高阶特征交互： 门控注意力池化： ； ； 其中，Wg、bg分别为门控权重矩阵和偏置；为第i’个模态的注意力权重；为编码后的第i’个模态序列表示；hpool为池化后的融合特征； 双线性交互增强： ； 其中，U为用于计算图像与文本高阶交互的权重矩阵；hbilinear为捕获模态之间的二阶相关性； 最终融合特征hfused： ； 其中，Wf、bf分别为拼接层的权重和偏置，ReLU为激活函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州掌中云科技有限公司;福州掌联科技有限公司;杭州玩阅互动网络科技有限公司，其通讯地址为：350000 福建省福州市鼓楼区软件大道89号福州软件园F区4号楼16层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。