同济大学王亚琦获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉同济大学申请的专利一种基于MFE-CCAGNN模型的多模态抑郁识别系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120977607B 。
龙图腾网通过国家知识产权局官网在2026-02-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511500663.4,技术领域涉及:G16H50/70;该发明授权一种基于MFE-CCAGNN模型的多模态抑郁识别系统是由王亚琦;桂任舟设计研发完成,并于2025-10-21向国家知识产权局提交的专利申请。
本一种基于MFE-CCAGNN模型的多模态抑郁识别系统在说明书摘要公布了:本发明属于人工智能领域,提供了一种基于MFE‑CCAGNN模型的多模态抑郁识别系统,包括数据采集单元、数据预处理单元、MFE‑CCAGNN模型单元。数据采集单元同步采集受试者在进行同一访谈任务时的视频、音频、文本、fNIRS等多模态数据。数据预处理单元包括视频、音频、文本预、fNIRS预处理单元。MFE‑CCAGNN模型单元包括视频、音频、文本与fNIRS神经信号特征提取模块,多模态特征融合模块和分类模块,实现抑郁识别与分类结果输出。本发明系统支持四级抑郁程度判别,识别精度高、部署轻便、可解释性强等,适用于心理健康筛查与临床辅助评估场景。
本发明授权一种基于MFE-CCAGNN模型的多模态抑郁识别系统在权利要求书中公布了:1.一种基于MFE-CCAGNN模型的多模态抑郁识别系统,其特征在于,包括数据采集单元、数据预处理单元、MFE-CCAGNN模型单元,其中: 所述数据采集单元用于在训练阶段于标准化访谈任务场景下同步采集受试者的视频模态数据、音频模态数据、文本模态数据、fNIRS模态数据,以及在部署阶段于相同任务场景下仅采集外在行为模态数据,所述外在行为模态包括视频、音频、文本; 所述数据预处理单元包括视频预处理单元、音频预处理单元、文本预处理单元、fNIRS预处理单元; 所述MFE-CCAGNN模型单元包括视频特征提取模块、音频特征提取模块、文本特征提取模块、fNIRS数据特征提取模块四个特征提取模块,以及多模态特征融合模块和分类器模块; 所述数据采集单元为数据预处理单元提供时序对齐的原始数据支持;所述MFE-CCAGNN模型单元的各特征提取模块的输入分别与所述数据预处理单元相应的预处理模块输出连接,对数据预处理单元输出的各类数据进行特征提取;所述MFE-CCAGNN模型单元的多模态特征融合模块在训练阶段完成显式对齐、共享和独特嵌入解耦与神经代理特征生成,在部署阶段不使用神经模态的情况下仅基于外在行为生成神经代理特征并与外在行为特征融合,最终由分类器模块输出抑郁识别结果; 所述MFE-CCAGNN模型单元的多模态特征融合模块,其输入为四个特征提取模块的输出、、、;在训练阶段,对四类特征进行深层嵌入挖掘与显式对齐,并执行跨模态对比与潜空间重构联合正交约束的优化;在部署阶段,仅以、、为输入,生成与NFS对应的神经代理特征并与外在行为特征融合,输出融合特征; 所述的多模态特征融合模块的构建基于共享-独特嵌入表示解耦融合的机制,共享-独特嵌入表示解耦融合机制是指在同一模态内部对共享和独特嵌入施加正交约束,并结合嵌入表示重构和fNIRS为教师锚点的共享空间对齐,以及由内到外生成神经代理特征重构,从而实现跨模态鲁棒融合的方法; 所述神经代理特征生成,MFE-CCAGNN模型单元需要在训练阶段完成外在模态和内部神经模态数据显式对齐;在部署阶段仅依赖外在模态完成判别;多模态特征融合模块在部署阶段仅接收外在模态,其中fNIRS分支由外在模态生成的神经代理特征替代; 跨模态神经代理特征生成阶段,输入样本外在行为模态v、a、t的融合嵌入,构建fNIRS模态专属的重构解码器,重构出的近似表征,即神经代理特征;神经代理特征在部署阶段替代真实的fNIRS模态参与后续融合与判别; 神经代理特征重构为, 其中,和分别是每个外在模态的融合嵌入,是拼接过程;最后使用fNIRS专属重构解码器进行由外到内代理重构,和是同等维度; 在部署阶段不再需要采集fNIRS模态,直接用外在模态生成的作为神经代理特征,然后使用和训练期相同的fNIRS模态分支编码与融合流程,以保证推理路径对齐;由此保证系统在部署阶段不依赖fNIRS模态,使系统能够自动对齐外部模态输入的数据; 同一任务语境下的多模态信号同时包含与他模态共享的共享表征与仅在本模态显现的独特表征。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人同济大学,其通讯地址为:200092 上海市杨浦区四平路1239号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励