西安交通大学陈妍获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安交通大学申请的专利一种基于多任务的在线学习状态识别方法及相关装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116758623B 。
龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310698144.8,技术领域涉及:G06V40/18;该发明授权一种基于多任务的在线学习状态识别方法及相关装置是由陈妍;刘庆;刘嘉欣;李政霖;田锋;朱海萍;郑庆华设计研发完成,并于2023-06-13向国家知识产权局提交的专利申请。
本一种基于多任务的在线学习状态识别方法及相关装置在说明书摘要公布了:本发明公开了一种基于多任务的在线学习状态识别方法及相关装置,属于学习状态预测领域。本发明提供采用神经网络与融合Landmarks和个性化校准的注视点估计模型相结合的多任务学习框架对表情和注视点两个学习状态指标进行预测;采用融合Landmarks和个性化校准的两阶段注视点估计算法,解决了通用模型准确度与泛化性能不足、难以系统化实现及大规模应用等问题;采用任务自适应的交替联合调度多任务训练,有效提高各任务的学习性能,并使主要任务达到更好的效果。本发明解决了通用注视点估计模型具有的准确度与泛化能力的不足,同时克服了系统化实现及大规模应用的困难。
本发明授权一种基于多任务的在线学习状态识别方法及相关装置在权利要求书中公布了:1.一种基于多任务的在线学习状态识别方法,其特征在于,包括以下步骤: 1构建由注视点估计子任务模型和面部表情识别子任务模型构成的在线学习者注视点与面部表情的多任务识别模型; 所述注视点估计子任务模型用于合并左眼特征、右眼特征和LandmarksGrid特征,输出注视落点;所述面部表情识别子任务模型用于合并LandmarksGrid和面部分支特征,输出面部表情; 2采用自适应交替联合调度进行多任务训练 训练时首先根据训练数据集中的样本的特征标签对注视点估计子任务模型或面部表情识别子任务模型进行交替训练;完成交替训练后提高任务联合级别至2级,采用同时包含注视点和面部表情标签的样本数据对所述多任务识别模型进行组合训练;步骤1中,所述注视点估计子任务模型为融合Landmarks的通用注视点估计模型和注视点个性化校准模型相结合的两阶段注视点估计模型; 当运行所述注视点估计子任务模型时,首先利用融合Landmarks的通用注视点估计模型对在线学习场景下学习者的注视点进行估计,从而得到通用注视点坐标;之后,利用注视点个性化校准模型估计出通用注视点坐标的偏差,结合通用注视点坐标和通用注视点坐标的偏差,最终得到真实注视点坐标; 步骤2中,采用自适应交替联合调度进行多任务训练,具体过程为: 201进行子任务编码 多任务学习共包含n个子任务,对子任务进行Onehot编码; 为每个子任务构造损失函数Li,则多任务损失函数向量 考虑数据集D中的样本S,若样本S具有子任务Ta,Tb,…,Tk所需的标签,则所述样本S针对子任务Ta,Tb,…,Tk的联合损失函数Lab...k为: 其中,Sab...k是使能任务Ta,Tb,…,Tk的Onehot编码值,即使得第a,b,…,k位为1的二进制编码; 根据所述样本S所含任务的标签,将原数据集D划分为交替训练数据集{D1,D2,…,Dn}和联合训练数据集{D12,D123,…Dij...k,…,D12...n}; 交替训练数据集Di仅包含任务Ti所需的标签数据,联合训练数据集Dij...k包含任务Ti,Tj,…,Tk所需的标签数据; 202设计损失函数 在交替训练调度时,子任务Ti权重系数为λi,令所述权重系数λi与自身数据集Di规模和总体数据集Dtotal规模的比值呈反比: 再对λi进行归一化,则所述子任务Ti权重系数λi为: 其中,λi表示子任务Ti的权重系数,N表示子任务的总数量,mountDi表示子任务Ti的数据集规模; 在联合训练的调度时,将训练数据集划分为主要任务集合Tm和辅助任务集合Tn,进行联合训练时,各任务的权重系数定义如下: 其中,λj表示主要任务Tj的权重系数,Lj表示主要任务Tj的损失函数,Tj属于主要任务集合Tm;λk表示辅助任务Tk的权重系数,Lk表示辅助任务Tk的损失函数,Tk属于辅助任务集合Tn; 在主要任务的重要程度一致及辅助任务的重要程度一致的前提下,通过式8来对任务权重进行更新; 将任务的权重系数按式9组织: 则对于第k级联合训练调度组合,联合损失函数如下: 步骤2中,采用自适应交替联合调度进行多任务训练,具体为: 定义任务调度队列Qlist列表,对数据集进行遍历,将数据样本根据其所支持的子任务集合构造数据子集Dtaskset; 将数据子集Dtaskset根据其所包含的任务数量插入对应的调度队列列表Qi中,训练时,按顺序从任务调度队列中提取交替训练或各级联合训练组合,依据式10构造联合损失函数,并通过反向传播更新模型参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安交通大学,其通讯地址为:710049 陕西省西安市碑林区咸宁西路28号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。