苏州大学汤笑诚获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉苏州大学申请的专利一种面向智能座舱的实时情绪感知与语音交互系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121009400B 。
龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511538466.1,技术领域涉及:G06F18/24;该发明授权一种面向智能座舱的实时情绪感知与语音交互系统是由汤笑诚;陈亮;袁志伟;孙苏辉;韩涛;宋雨泽设计研发完成,并于2025-10-27向国家知识产权局提交的专利申请。
本一种面向智能座舱的实时情绪感知与语音交互系统在说明书摘要公布了:本发明公开一种面向智能座舱的实时情绪感知与语音交互系统,包括:多模态数据采集模块用于同步采集驾驶员的面部图像、语音信号及文本输入;视觉特征增强单元用于对低质量图像进行修复与情绪分布提取;音频降噪与特征提取单元用于提取语音情绪特征;文本情绪编码单元用于融合相对位置编码与上下文语义信息;跨模态融合模块,用于通过整合视觉、音频与文本特征输出情绪分类结果;个性化情绪数据库,用于存储用户历史情绪数据并进行情绪趋势预测与预警判断;大语言模型反馈模块,根据情绪识别结果与驾驶情境生成结构化提示词生成自然语言反馈;语音合成与输出模块用于调整语音参数并通过车载多通道进行反馈输出;本发明增强人车交互的情感表达力。
本发明授权一种面向智能座舱的实时情绪感知与语音交互系统在权利要求书中公布了:1.一种面向智能座舱的实时情绪感知与语音交互系统,其特征在于,包括:多模态数据采集模块用于同步采集驾驶员的面部图像序列、语音信号及文本输入;视觉特征增强单元采用生成式面部先验网络GFP-GAN与通道分割空间特征变换CS-SFT技术,对低质量图像进行修复与情绪分布提取;音频降噪与特征提取单元,基于非负矩阵分解NNMF和HuBERT模型提取语音情绪特征;文本情绪编码单元,采用DeBERTa结构融合相对位置编码与上下文语义信息;跨模态融合模块,通过跨模态Transformer动态整合视觉、音频与文本特征,输出情绪分类结果;个性化情绪数据库,用于存储用户历史情绪数据并基于LSTM进行情绪趋势预测与预警判断;大语言模型反馈模块,根据情绪识别结果与驾驶情境生成结构化提示词,调用DeepSeek模型生成自然语言反馈;语音合成与输出模块,基于情绪状态动态调整语音参数,并通过车载多通道进行反馈输出;其中,视觉特征增强单元还包括情绪清晰度筛选机制,仅保留清晰度高于设定阈值的图像帧参与后续建模;音频降噪单元采用时域与频域双重降噪策略,并通过短时傅里叶变换与逆变换重构去噪语音信号;跨模态融合模块采用多层Transformer结构,分别对视觉、音频和文本特征进行模态内交互建模,再通过跨模态注意力机制进行特征融合;个性化情绪数据库记录每次识别的多模态特征、情绪类别及清晰度指标,并基于LSTM网络进行未来情绪状态预测;其中,音频降噪与特征提取单元,基于非负矩阵分解NNMF和HuBERT模型提取语音情绪特征;文本情绪编码单元,采用DeBERTa结构融合相对位置编码与上下文语义信息;具体如下: 双域降噪处理:音频信号首先进行时域与频域双重降噪;时域降噪处理如下: ; 其中是时域增强语音频谱,是有噪声语音信号的幅度频谱,为噪声的幅度谱,是空间变换的缩放因子; 频域增强与重构:使用短时傅里叶变换提取幅度谱与相位谱,通过非负矩阵分解分解与短时傅里叶逆变换重构以获得去噪音频信号: ;其中,为哈达玛积,表示两个同阶矩阵对应元素相乘;将降噪音频输入HuBERT模型,从多个角度学习语音信号的结构,提取语义相关音频向量,用于后续情绪融合; 使用DeBERTa结构,将输入的语音识别转录文本嵌入为词向量,加入标记i到标记j的相对位置信息,并生成内容向量、位置向量: ; 绝对位置增强:在所有Transformer层后加入绝对位置信息,并在Softmax之前进行嵌入增强,确保情绪语义建模过程中兼顾上下文顺序与关键位置信息;提取序列首位token的隐藏状态作为全句情绪表示,其中表示文本特征大小。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人苏州大学,其通讯地址为:215222 江苏省苏州市吴江区久泳西路1号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励