烟台大学童向荣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉烟台大学申请的专利一种基于因果理论的知识蒸馏去偏推荐方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119808836B 。
龙图腾网通过国家知识产权局官网在2025-07-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510292925.6,技术领域涉及:G06N3/045;该发明授权一种基于因果理论的知识蒸馏去偏推荐方法及系统是由童向荣;李鹏琨;王莹洁设计研发完成,并于2025-03-13向国家知识产权局提交的专利申请。
本一种基于因果理论的知识蒸馏去偏推荐方法及系统在说明书摘要公布了:本发明涉及知识蒸馏技术领域,尤其是涉及一种基于因果理论的知识蒸馏去偏推荐方法及系统。方法,包括构建知识蒸馏去偏推荐模型,其中,构建两个教师模型和一个学生模型,根据用户评分数据集生成观测数据的因果路径;基于量化选择偏差的因果效应补充未观测数据的因果路径;利用两个教师模型分别在观测数据的因果路径和未观测数据的因果路径进行预测,生成无偏软标签;基于无偏软标签对学生模型进行知识蒸馏,得到知识蒸馏去偏推荐模型;利用知识蒸馏去偏推荐模型进行用户预测。本发明从因果推断的角度出发,分析知识蒸馏过程中选择偏差产生的因果原因,通过补充未观测数据的因果路径来解决选择偏差问题。
本发明授权一种基于因果理论的知识蒸馏去偏推荐方法及系统在权利要求书中公布了:1.一种基于因果理论的知识蒸馏去偏推荐方法,其特征在于,包括: 获取用户评分数据集; 构建知识蒸馏去偏推荐模型,其中,构建两个教师模型和一个学生模型,根据用户评分数据集生成观测数据的因果路径;基于量化选择偏差的因果效应补充未观测数据的因果路径;利用两个教师模型分别在观测数据的因果路径和未观测数据的因果路径进行预测,生成无偏软标签; 基于无偏软标签对学生模型进行知识蒸馏,得到知识蒸馏去偏推荐模型; 利用知识蒸馏去偏推荐模型进行用户预测; 所述获取用户观测评分数据,包括获取观测到的用户对商品的评分数据,其中,设为M个用户的集合,为N个物品的集合;将表示为从用户交互历史中收集到的真实反馈标签矩阵,其中的每个项目表示用户对物品的真实评分; 所述根据用户评分数据集生成观测数据的因果路径,包括将用户观测评分数据输入到显示反馈教师模型中,显示反馈教师模型根据观测到的数据进行预测,生成软标签,所述生成软标签的路径作为观测数据的因果路径; 所述基于量化选择偏差的因果效应补充未观测数据的因果路径,包括求解点击数据情况下的有偏因果效应公式和未观测数据情况下的因果效应公式,其中,让表示在条件分布下的随机变量,其中变量被干预为特定值,变量对的因果效应表示为随着值的变化,值的变化情况,因此,对于用户,沿路径时,对的有偏因果效应公式表示为: , 其中表示基准情况,用于比较,该公式表示为在条件下和基准情况下的差异; 对于用户,沿路径时,对无偏软标签的因果效应公式表示为在条件下和基准情况下的差异,具体表示为: , 所述基于量化选择偏差的因果效应补充未观测数据的因果路径,还包括通过合并有偏因果效应公式和因果效果公式得到无偏因果效应公式,通过无偏因果效应公式综合两条路径的无偏因果效应,用于生成无偏软标签,无偏因果效应公式表示为: , 其中,用户;物品;表示基准情况; 所述利用两个教师模型分别在观测数据的因果路径和未观测数据的因果路径进行预测,生成无偏软标签,包括基于Debiasing-KD方法进行去偏知识蒸馏,其中,利用显示反馈教师模型作用于观测到的用户反馈数据得到的因果路径;利用隐式反馈教师模型作用于未观测到的用户反馈数据得到的因果路径,最终生成无偏软标签;其中,引入两个教师模型:显示反馈教师模型和隐式反馈教师模型,分别作用于因果路径和,从而生成综合无偏软标签,其中, 显示反馈教师模型直接在观测到的用户反馈上生成软标签,其学习过程表示为: 1 其中,为教师模型学习到的软标签; 对于隐式反馈教师模型,通过对用户未观测到的物品的点击后转化率进行预估,以生成伪标签来代替真实用户反馈;在模型的学习过程中,损失函数用于衡量伪标签与模型预测的点击后转化率之间的差异,以提升伪标签的准确性,其形式表示为: , 最后,将显示反馈教师模型生成的软标签和隐式反馈教师模型生成的软标签进行组合,获得无偏软标签,从而指导学生模型学习; , 其中,是一个权重参数,用于调节显示反馈软标签和隐式反馈软标签在最终无偏软标签中的贡献比例; 所述基于无偏软标签对学生模型进行知识蒸馏,得到知识蒸馏去偏推荐模型,包括利用学生模型以无偏软标签作为拟合目标进行学习,基于无偏软标签编码的教师模型所学到的知识,基于损失函数使学生模型在学习过程中学习到无偏软标签中的教师模型知识,学生模型训练损失函数表示为: , 其中为学生模型预测值与无偏软标签的拟合损失函数;为DR模型预测值与真实标签之间的训练损失,为超参数,用来平衡两种损失之间的贡献。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人烟台大学,其通讯地址为:264003 山东省烟台市莱山区清泉路30号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。