买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州电子科技大学申请的专利一种基于脑眼融合的多模态视频流目标检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118470300B 。

龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410568120.5，技术领域涉及：G06V10/25；该发明授权一种基于脑眼融合的多模态视频流目标检测方法是由孔万增;马龙杰;洪晨益;陈承瑞;莫凯麟;何秉峰;张建海设计研发完成，并于2024-05-09向国家知识产权局提交的专利申请。

本一种基于脑眼融合的多模态视频流目标检测方法在说明书摘要公布了：本发明公开了一种基于脑眼融合的多模态视频流目标检测方法。该方法采集被试观看步复杂视频内容时的脑电数据与眼动数据，制作脑电正负样本对、眼动正负样本对，以及在通道维度拼接的脑电—眼动拼接样本。然后将正负样本对输入特征提取模型中，进行对比学习，训练模型参数。再将脑电样本、眼动样本以及拼接样本输入分类器中进行学习。最后将未知样本输入训练好的分类器中，并将预测为目标的对应样本眼动数据取出，根据注视点和注视时间绘制注视区域，生成热点图，获得目标的运动轨迹，实现目标检测。该方法利用多模态信息搜索同类别相似信息，实现了信息的互补，在较高的识别率下揭示了目标的移动轨迹，提高了识别的可靠性。

本发明授权一种基于脑眼融合的多模态视频流目标检测方法在权利要求书中公布了：1.一种基于脑眼融合的多模态视频流目标检测方法，其特征在于：具体包括以下步骤： 步骤1、制作脑机实验范式 在多个地点采用不同角度拍摄目标行人视频，制作成快速视觉呈现范式； 步骤2、采集脑电数据和眼动数据 向被试播放步骤1中制作的视频内容，同步采集被试在观看视频内容时的脑电数据和眼动数据； 步骤3、数据预处理与样本对构建 对步骤2采集到数据进行预处理，得到脑电样本和眼动样本，并根据标签构建正负样本对；然后将脑电样本与眼动样本按顺序一一对应，在通道维度进行拼接，得到拼接样本； 步骤4、提取脑电特征和眼动特征 将一个样本对中的两个样本依次输入特征提取模型中，首先使用多头自注意力机制提取时空间注意力权重，获得不同维度之间的依赖关系，然后进行时间维度和空间维度的特征提取，从而得到两个样本的特征向量； 步骤5、对比学习 将一个样本对的两个特征向量映射到向量空间中，计算两个特征向量之间的空间距离，并通过损失函数对空间距离进行反向传播，更新特征提取模型的参数； 步骤6、多模态特征融合 将脑电样本、眼动样本依次输入经过对比学习后的特征提取模型中，将对应的拼接样本输入未进行对比学习的特征提取模型中，分别得到三个样本对应的特征向量，再输入分类器中，利用下采样的类别平衡数据对分类器进行训练，得到三个样本的独立预测结果；然后，训练一组自适应的可学习权重，用于将三个独立的预测结果融合在一起，从而输出最终的预测结果； 步骤7、线上视频目标检测 采集被试观看视频时产生的脑电数据和眼动数据，处理后输入步骤6训练好的特征提取模型与分类器中，得到对未知样本有无目标、目标出现和消失的预测，然后将预测结果为目标出现的样本的眼动数据取出，根据注视点和注视时间绘制注视区域，生成热点图，获得目标的运动轨迹。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州电子科技大学，其通讯地址为：310018 浙江省杭州市下沙高教园区2号大街；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。