河北师范大学靳慧龙获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉河北师范大学申请的专利一种用于教学的多模态视觉分析系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120339924B 。
龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510828568.0,技术领域涉及:G06V20/40;该发明授权一种用于教学的多模态视觉分析系统是由靳慧龙;张双;夏香龙;郁言设计研发完成,并于2025-06-20向国家知识产权局提交的专利申请。
本一种用于教学的多模态视觉分析系统在说明书摘要公布了:本发明公开了一种用于教学的多模态视觉分析系统,属于计算机视觉与人工智能技术领域,包括视频采集与处理模块,实时采集视频帧,并判断场景中是否存在动态变化;多线程并行分析模块,实现视频采集与分析的并行处理;用户界面模块,通过设计界面布局,将捕获的实时视频帧进行显示;分析结果输出与展示模块,实时推送和展示中间结果,并将分析完成后的最终分析结论发送至用户界面模块;系统稳定性与资源管理模块,包括多线程管理与同步和资源开销监控与优化;日志与错误处理模块,记录程序的运行信息,将捕获异常记录到日志中并采取相应措施;本发明提供的一种用于教学的多模态视觉分析系统,通过对实时视频帧进行分析,提升实操效率与质量。
本发明授权一种用于教学的多模态视觉分析系统在权利要求书中公布了:1.一种用于教学的多模态视觉分析系统,其特征在于,包括: 视频采集与处理模块,实时采集视频帧,并通过动态帧差检测算法计算相邻两帧图像之间的差异,从而判断场景中是否存在动态变化; 多线程并行分析模块,包括线程设计与协作和动态负载均衡机制,实现视频采集与分析的并行处理; 用户界面模块,通过设计界面布局,将捕获的实时视频帧进行显示; 分析结果输出与展示模块,实时推送和展示多线程并行分析模块分析的中间结果,并将分析完成后的最终分析结论发送至用户界面模块; 系统稳定性与资源管理模块,包括多线程管理与同步和资源开销监控与优化; 日志与错误处理模块,记录程序的运行信息,在程序的主入口捕获异常,将其记录到日志中并采取相应措施; 动态帧差检测算法通过分析相邻两帧图像之间的差异判断场景中是否存在动态变化,当差异超过阈值时,认为场景中有动态变化发生,则对当前帧进行分析,具体为: 初始化:初始化一个变量用于存储上一帧图像,初始值设为None; 循环读取帧数据:在一个无限循环中不断读取帧数据,每次循环都会获取当前帧图像; 计算帧差: ; 其中,表示差异图像在位置处的像素值;和分别表示当前帧和上一帧图像在位置处的像素值; 灰度化处理:将得到的差异图像转换为灰度图像; 二值化处理:将灰度图像进行二值化处理,表示为: ; 其中,表示二值化后的差异图像在位置处的像素值;表示灰度差异图像在位置处的像素值,是预设的阈值; 计算差异百分比: ; 其中,为非零像素数量;为总像素数量; 判断是否分析:将计算得到的差异百分比与预设的阈值进行比较,若超过阈值,则进行分析; 更新上一帧:将当前帧赋值给存储上一帧图像的变量,用于在下一次循环中作为上一帧使用; 第一帧处理:当存储上一帧图像的变量为None时,表明当前为第一帧,对于第一帧,将其编码为JPEG格式的字节数据,通过信号发送出去进行分析; 线程设计与协作通过设计CameraThread和AnalysisWorker两个线程类,CameraThread用于视频帧的采集,从摄像头不断读取视频帧,并将其传递给AnalysisWorker线程进行分析,具体为: 视频帧解码:将AnalysisWorker接收到的以字节数据形式存在的视频帧转换为numpy数组;使用OpenCV的imdecode函数将numpy数组解码为图像帧; 特征提取:使用OpenCV的resize函数将图像帧的分辨率缩小到指定大小;将处理后的图像帧转换为PIL图像对象;将PIL图像对象保存为JPEG格式的字节流,并进行base64编码; 模型推理:调用ollama.generate函数,传入模型名称、提示信息、图像的base64编码参数,开启流式推理;对推理过程中的每个输出块进行处理,检查是否超时,若超时,则抛出超时异常;将每个输出块拼接成完整的分析结果; 分析结果输出与展示模块采用双信号输出机制,借助两个不同的信号分别实时推送中间结果和最终分析结论;中间结果信号为AnalysisWorker线程在模型推理过程中,会不断产生阶段性的中间结果,每得到一个中间结果块,就会通过pyqtSignal将其发送出去,这个信号携带了两个关键信息,一个是分析结果对应的文本框索引,另一个是具体的中间结果内容;最终分析结论为AnalysisWorker线程对视频帧进行分析得到的结果,最终分析结论信号通过另一个pyqtSignal将这个最终分析结论发送出去,同样,该信号也携带了文本框索引和完整的分析结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人河北师范大学,其通讯地址为:050024 河北省石家庄市裕华区南二环东路20号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。