买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉常州大学申请的专利一种基于多模态深度神经网络对人群抑郁状态辅助检测的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116110565B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211002632.2，技术领域涉及：G16H50/20；该发明授权一种基于多模态深度神经网络对人群抑郁状态辅助检测的方法是由杨长春;王彭;曹苗苗;张力维;孟天霜设计研发完成，并于2022-08-19向国家知识产权局提交的专利申请。

本一种基于多模态深度神经网络对人群抑郁状态辅助检测的方法在说明书摘要公布了：本发明属于计算机自然语言处理情感分析领域，提出了一种基于多模态深度神经网络对人群抑郁状态辅助检测的方法。首先采集读取音频、文本和视频模态数据；通过三条分支网络对三种模态数据提取高维特征，音频模态使用Wav2vec2.0对音频数据编码，特征提取模块网络提取音频高维特征；文本模态使用Bert对文本数据编码，双向长短时间记忆网络提取文本高维特征；从视频模态获取面部、头部关键点坐标信息，通过时间分布卷积神网络提取视频高维特征；通过搭建自注意力模块，充分融合三种高维特征以提高对抑郁状态检测的准确率；通过利用加权的交叉熵损失函数，抑制干扰噪声对于网络学习能力的影响，从而进行准确的抑郁状态预测。

本发明授权一种基于多模态深度神经网络对人群抑郁状态辅助检测的方法在权利要求书中公布了：1.一种基于多模态深度神经网络对人群抑郁状态辅助检测的方法，其特征在于，包括步骤如下； 步骤1：基于音频模态使用特征提取模块提取抑郁状态的高维特征； 特征提取模块由多头自注意力网络组成,由多头自注意力机制结构和前馈神经网络堆叠组成；前馈神经网络包括两层全连接层，第一层全连接层的激活函数是ReLU，第二层全连接层的激活函数是一个线性激活函数； 步骤2：基于文本模态使用双向长短时间记忆网络框架模型提取抑郁状态的高维特征； 双向长短时间记忆网络为双向LSTM组合的BiLSTM网络，BiLSTM网络使用双层的LSTMlayer； 步骤3：基于视频模态使用时间分布卷积神经网络模型提取抑郁状态的高维特征； 时间分布卷积神经网络模型包括两个并行的T-CNN分支，T-CNN分支为多层结构，包括五个扩张卷积块和四个最大池化层；扩张卷积块用于获取不同感知范围内的信息；最大池化层用于缩小特征分辨率，提取出高维特征；具体步骤包括： 3.1：通过佩戴传感器采集被测人在受访时间内的头部动作的三维坐标信息，通过录像视频采集被测人在受访时间内的面部关键点的三维坐标信息； 将所获得的头部动作和关键点的三维坐标信息读取后获得的特征向量，其中T是时间步长，D为特征维数； 3.2：以面部关键点的三维坐标特征向量序列和头部动作三维坐标特征向量序列作为输入，使用时间分布卷积神经网络提取视觉的高维特征； 输入面部关键点三维坐标特征向量序列和头部动作三维坐标特征向量序列至两个并行的T-CNN分支进行学习特征； 输入，T-CNN分支的卷积运算表示为： （5） 其中d为扩张因子，k为卷积核大小，b为偏置；采用零填充，保持T-CNN输入输出形状相同； 步骤4：融合三种模态中提取的抑郁状态的高维特征，通过自注意力模块输出二进制标签，对人群的抑郁状态检测；具体步骤包括； 4.1：整合从三个分支模型中提取的高维特征，得到向量I，并输入至自注意力模块，自注意力模块将学习到的特征进行融合，将权重分配给不同的特征通道；得到表示三种模态不同特征重要性的权重矩阵； 输入向量I时，自注意力机制的计算过程为： 计算融合后向量I的三个向量矩阵即矩阵： （6） （7） （8） 计算注意力分数矩阵： （9） （10） 计算输出矩阵： （11） 其中是可学习参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人常州大学，其通讯地址为：213164 江苏省常州市武进区湖塘镇滆湖中路21号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。