买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华中师范大学申请的专利一种联合语音进行多模态对齐的脑电视觉重构方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120540524B 。

龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510623868.5，技术领域涉及：G06F3/01；该发明授权一种联合语音进行多模态对齐的脑电视觉重构方法和系统是由粟柱;欧阳芷晴;邵潇漩;宋敏齐;黄鑫晨;刘三女牙设计研发完成，并于2025-05-15向国家知识产权局提交的专利申请。

本一种联合语音进行多模态对齐的脑电视觉重构方法和系统在说明书摘要公布了：本申请提供了一种联合语音进行多模态对其的脑电视觉重构方法和系统，通过将语音信号与脑电信号、图像信号进行联合训练与对齐，显著提升了多模态信息的利用率，并优化了脑电信号质量，与现有技术中基于脑电‑图像对训练的单一模态重构方法相比，能够显著提高图像重构的质量。

本发明授权一种联合语音进行多模态对齐的脑电视觉重构方法和系统在权利要求书中公布了：1.一种联合语音进行多模态对齐的脑电视觉重构方法，其特征在于，包括以下步骤： S1、选取具有一定时长的音视频作为外界刺激，同步采集脑电信号、视频帧图像、及语音数据； S2、按预设时间间隔分别截取视频帧和脑电信号片段，进行人工筛选和类别标注，构成脑电-图像-音频对，得到时序关联的多模态数据集； S3、采用掩蔽信号建模预训练的编码器提取脑电信号的时空特征，生成脑电嵌入向量； S4、利用HuBERT语音识别模型提取语音特征，并通过GRU网络降维至CLIP语义空间，生成语音嵌入向量； S5、采用CLIP提取图像特征，生成图像嵌入向量； S6、在CLIP语义空间中，通过余弦相似度损失函数联合优化脑电嵌入向量、CLIP图像嵌入向量、及语音嵌入向量的跨模态距离，使脑电信号与图像、语音模态的语义表征对齐； S7、将优化后的脑电信号输入图像生成器，进行视觉重构，得到生成图像； S8、计算原始图像与生成图像在CLIP语义空间中的相似度，评估视觉重构效果； 所述步骤S2中所述的进行人工筛选和类别标注，构成脑电-图像-音频对，具体包括： 选取n个预设时间间隔内描述内容属于同一类别的视频帧； 截取所述n个预设时间间隔对应的音频片段和脑电信号片段，构成脑电-图像-音频对，并根据视频帧描述内容进行类别标注；具体包括：使所述n个预设时间间隔的视频帧共用同一段音频，作为对应的音频片段。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华中师范大学，其通讯地址为：430079 湖北省武汉市洪山区珞喻路152号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。