买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东北大学申请的专利一种基于知识蒸馏的自适应双塔多模态推荐方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118714193B 。

龙图腾网通过国家知识产权局官网在2026-01-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410792926.2，技术领域涉及：H04L67/55；该发明授权一种基于知识蒸馏的自适应双塔多模态推荐方法是由于亚新;姚嘉硕;王佳成;于之晟设计研发完成，并于2024-06-19向国家知识产权局提交的专利申请。

本一种基于知识蒸馏的自适应双塔多模态推荐方法在说明书摘要公布了：本发明提供一种基于知识蒸馏的自适应双塔多模态推荐方法，涉及多模态推荐技术领域，本发明通过收集获取用户‑项目交互信息以及项目多模态信息，进行数据清洗和格式转换；使用教师‑学生模型进行多模态信息的知识蒸馏；基于GNN和专家网络构建双塔模型；分别计算双塔模型下交互塔和内容塔的偏好得分；基于场景特征进行双塔偏好得分混合；计算偏好得分之后进行项目推荐。本发明显著优于传统的单模态推荐算法。这一进步不仅体现在推荐系统的性能提升上，也在空间和计算资源的节约上有着明显的优势。因此，本发明在多模态推荐系统领域具有重要的应用价值和广阔的市场前景。

本发明授权一种基于知识蒸馏的自适应双塔多模态推荐方法在权利要求书中公布了：1.一种基于知识蒸馏的自适应双塔多模态推荐方法，其特征在于，包括以下步骤： 步骤S1：获取用户-项目交互信息以及项目多模态信息； 步骤S2：使用教师-学生模型进行多模态信息的知识蒸馏； 步骤S3：基于GNN和专家网络构建双塔模型； 步骤S4：分别计算双塔模型下交互塔和内容塔的偏好得分； 步骤S5：基于场景特征进行双塔偏好得分混合； 步骤S6：计算偏好得分之后进行项目推荐； 所述步骤S2包括以下步骤： 步骤S2.1：选择教师模型； 选择CLIP模型作为教师模型进行图像数据和文本数据的多模态特征提取，教师模型处理函数记为： ，； 其中项目图像数据表示为，项目文本数据表示为，其中、分别为第R个项目的原始图像数据以及原始文本数据，R为项目总数；经过教师模型的处理之后，图像数据和文本数据结果变为和，其中、分别为第R个项目经过教师模型处理后的图像数据以及文本数据； 步骤S2.2：选择学生模型；其中学生图像模态处理器选择轻量级卷积网络MobileNet，处理函数记为，学生文本模态处理器选择BERT模型，处理函数记为； ，； 经过学生模型的处理之后的图像数据和文本数据，即学生图像模态嵌入和学生文本模态嵌入，分别表示为和，其中、为第R个项目经过学生模型处理后的图像数据以及文本数据； 步骤S2.3：知识蒸馏准备：通过知识蒸馏使得学生能够更好的模仿老师的结构，设计损失函数； 步骤S2.3中所述损失具体包括： 对比损失：定义分别经过教师模型和学生模型的同一项目表示视为正样本，不同项目表示视为负样本；其中图像模态正样本定义为，文本模态正样本定义为； ，，； 其中为图像模态蒸馏对比损失，为文本模态蒸馏对比损失，为总的蒸馏对比损失，τ为温度参数； 分布损失：设为教师模型对于原始图像特征的预测概率分布，为教师模型对于原始文本特征的预测概率分布；为学生模型对于原始图像特征的预测概率分布，为学生模型对于原始文本特征的预测概率分布： ，，； 其中为图像模态蒸馏分布损失，为文本模态蒸馏分布损失，为总的蒸馏分布损失； MLM损失：引入辅助损失，具体使用掩码引导，在输入序列中随机选择一些位置进行掩码处理，将这些位置的值替换为特殊标记[MASK]；通过学生模型对这些掩码位置进行预测，恢复其原始值；将学生模型对掩码位置的预测与实际值进行对比，计算预测误差： ，； 其中为掩码输入序列，为原始输入序列，M为被掩码的位置集合，其中第j个掩码的位置标记为，E是嵌入矩阵，是MLM任务的预测分布，是学生模型在位置j处预测正确标记mj的概率； 综合上述损失： ； 其中α、β为损失系数；通过最小化上述损失，实现了学生模型对于教师模型的模仿； 所述步骤S3包括以下步骤： 步骤S3.1：使用GNN构建交互塔； 定义二部图，其中节点集合定义为，U为用户节点集合，I为项目节点集合，节点个数为，边集合为，边个数为；若二部图中的用户节点和项目节点有交互，则两个节点之间存在对应的边，即；Rui为用户u对于项目i的评分；使用来代表第l层二部图的节点嵌入，其中d为每个节点嵌入的维度，其中ID嵌入的传播公式如下： ，； 其中，σ为sigmoid函数，为交互图邻接矩阵，为添加自环后的交互图邻接矩阵，为对角度矩阵，添加自环后的交互图邻接矩阵，为最终交互塔嵌入，其中交互塔嵌入包含两个部分：交互塔用户嵌入和交互塔项目嵌入； 步骤S3.2：基于专家网络构建内容塔，进行模态信息融合； 所述步骤S3.2具体为：将教师-学生模型知识蒸馏而得到的学生图像模态嵌入和学生文本模态嵌入进行拼接得到用户塔原始输入，计算公式如下： ； 所述教师-学生模型为，分别使用教师模型和学生模型进行蒸馏学习的整个过程； 为更好的融合多种模态，使用模态专家网络MMMoE分别为图像模态，文本模态以及文本图像融合模态分别设计不同的专家；不同专家网络利用数据的不同方面进行建模，然后通过门控融合机制为每个专家任务分配不同的权重，最后依据门控网络权重分配动态融合专家结果，从而进行更精细的特征融合，将模态专家网络MMMoE经过融合的项目特征作为内容塔项目嵌入： ； 其中为专家个数，为第k个专家网络的计算函数，其中均为两层MLP； 通过查询用户-项目交互记录对于内容塔中项目进行遍历聚合，获得内容塔用户嵌入： ； 其中用户的邻居，为用户的邻居数量，项目i的邻居，为项目i的邻居数量，、分别为内容塔下用户节点以及项目节点的嵌入表示；拼接内容塔用户嵌入和内容塔项目嵌入即得到最终用户塔嵌入； 所述步骤S4具体为：提出基于场景感知的双塔偏好混合层；所述双塔偏好混合层用于计算ID图和CG图下共同影响的混合用户-项目偏好； ID图用户-项目偏好为： ； 其中分别为ID图中用户的节点表示和ID图中的项目节点表示；为计算ID图中用户项目之间相似性得到的偏好得分； CG图用户-项目偏好为： ； 其中分别为ID图中用户的节点表示和ID图中的项目节点表示；为计算CG图中用户项目之间相似性得到的偏好得分； 步骤S5中所述场景特征包括设备类型、时间；对于场景特征进行multi-hot编码并组合得到完整的场景特征，基于场景特征计算权重w，计算方法如下： 其中W和W为拟合的权重矩阵，b、b为偏置，通过权重𝑤合并两种偏好得分，获得最终用户-项目偏好得分： 所述步骤S6中通过比较偏好得分，最终选择前K个项目作为最终的推荐结果进行推荐，即可最大程度上拟合用户偏好，推荐用户感兴趣的项目。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东北大学，其通讯地址为：110819 辽宁省沈阳市和平区文化路3号巷11号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。