买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西安电子科技大学申请的专利一种基于跨模态特征融合的学生课堂行为识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121214563B 。

龙图腾网通过国家知识产权局官网在2026-03-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511790667.0，技术领域涉及：G06V40/20；该发明授权一种基于跨模态特征融合的学生课堂行为识别方法及系统是由王前前;赵博文;李锦涛;冯伟;高全学设计研发完成，并于2025-12-01向国家知识产权局提交的专利申请。

本一种基于跨模态特征融合的学生课堂行为识别方法及系统在说明书摘要公布了：本发明涉及课堂行为识别技术领域，具体涉及一种基于跨模态特征融合的学生课堂行为识别方法及系统，包括：将学生课堂视频均等划分为若干个时间段；通过每个时间段内人体关节点的分布和置信度，确定出每个时间段的随机采样数量，并来确定出学生课堂图像数据集；获取人工标注数据集；根据两个数据集，获得预测单通道关节点热图和真实单通道关节点热图，通过两者的差异优化训练后的HRNet模型；通过优化后的HRNet模型获取3D热图体积；并结合学生课堂视频中的RGB图像，输入到双流3D‑CNN网络，得到最终融合特征，通过最终融合特征进行学生课堂行为识别。本发明提高了学生课堂行为识别的准确性。

本发明授权一种基于跨模态特征融合的学生课堂行为识别方法及系统在权利要求书中公布了：1.一种基于跨模态特征融合的学生课堂行为识别方法，其特征在于，包括： 对HRNet模型进行预训练，获得训练后的HRNet模型；获取一段学生课堂视频，并对学生课堂视频进行预处理；将学生课堂视频中每帧图像，输入到训练后的HRNet模型中，获得每帧图像中所有人体关节点，并获得每个人体关节点的置信度；将学生课堂视频均等划分为若干个时间段；通过每个时间段内人体关节点的分布和置信度，确定出每个时间段的随机采样数量，通过所述随机采样数量确定出学生课堂图像数据集，包括： 以预设时间间隔将学生课堂视频均匀地划分为若干个时间段；通过对连续帧之间的关节点位置变化进行计算来获取每帧关节点的速度信息；根据每个时间段内每帧中所有关节点的平均置信度、每个时间段内两个相邻帧中所有关节点的速度信息和相邻帧中关节点的分布，获得每个时间段内每帧的复杂度；通过每个时间段内所有帧的复杂度的分布，获得每个时间段的复杂度；根据每个时间段的复杂度确定出每个时间段的随机采样数量，通过每个时间段的随机采样数量进行每个时间段的随机采样，获得学生课堂图像数据集； 对学生课堂图像数据集进行人工标注，获得人工标注数据集；根据学生课堂图像数据集，通过训练后的HRNet模型，获得预测单通道关节点热图；根据人工标注数据集，通过训练后的HRNet模型，获得真实单通道关节点热图；根据预测单通道关节点热图和真实单通道关节点热图之间的差异，来优化训练后的HRNet模型中的权重参数，获得优化后的HRNet模型；通过优化后的HRNet模型获取预测肢体热图和新预测单通道关节点热图；将新预测单通道关节点热图或预测肢体热图叠加至原始图像，再沿时间维度堆叠，获得3D热图体积； 构建双流3D-CNN网络；将3D热图体积和学生课堂视频中的RGB图像，输入到双流3D-CNN网络，采用早期特征融合和晚期特征融合的横向连接方式，得到最终融合特征，通过最终融合特征进行学生课堂行为识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西安电子科技大学，其通讯地址为：710071 陕西省西安市雁塔区太白南路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。