波江生命科学(上海)有限公司杨默获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉波江生命科学(上海)有限公司申请的专利一种采用设备不变性增强的多模态深度学习模型的系统及其应用获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120954690B 。
龙图腾网通过国家知识产权局官网在2026-01-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511485464.0,技术领域涉及:G16H50/20;该发明授权一种采用设备不变性增强的多模态深度学习模型的系统及其应用是由杨默;王乾;陈思设计研发完成,并于2025-10-17向国家知识产权局提交的专利申请。
本一种采用设备不变性增强的多模态深度学习模型的系统及其应用在说明书摘要公布了:本发明公开了采用设备不变性增强的多模态深度学习模型的系统及其应用,包括输入模块、编码模块、模态融合模块、分类模块、设备对抗分支模块、输出模块和最终总损失函数,咳嗽音频张量和症状描述及人口学文本信息经输入模块转化为向量后,经编码模块提取特征得到音频、文本特征;音频、文本特征经模态融合模块处理后得到最终联合表征后,由分类模块处理得到分类结果及相应概率,并由输出模块输出;设备对抗分支模块在训练阶段使音频编码器对抗设备分类头;最终总损失函数在训练阶段引入以优化模型。本发明具有在不依赖特定品牌采集设备的前提下,对多种呼吸系统疾病实现高准确识别的能力,并在多设备、多中心数据中展现出出色的泛化性能与鲁棒性。
本发明授权一种采用设备不变性增强的多模态深度学习模型的系统及其应用在权利要求书中公布了:1.一种采用设备不变性增强的多模态深度学习模型的系统,其特征在于,包括: 输入模块,负责接收经预处理转化为梅尔频谱的咳嗽音频张量,以及包括症状描述及人口学信息在内的文本信息,并统一转化为向量表示,得到音频向量和文本向量; 编码模块,负责利用两个独立的音频编码器和文本编码器,分别对所述音频向量和所述文本向量进行特征提取,对应得到音频特征和文本特征; 模态融合模块,负责利用双路跨模态多头注意力机制,对所述音频特征和所述文本特征依次进行映射、特征交换、压缩、拼接和多模态融合,实现多模态深度交互,得到最终联合表征; 所述模态融合模块的所述双路跨模态多头注意力机制包含两个线性层、音频→文本多头注意力层、文本→音频多头注意力层、两个注意力池化层、池化特征连接层和多模态融合层; 两个所述线性层分别将输入到所述模态融合模块的所述音频特征和所述文本特征对应映射为音频投影和文本投影;所述音频投影与所述文本投影在相同的嵌入空间,确保不同模态之间的嵌入对齐; 所述音频→文本多头注意力层以所述音频投影作为查询向量,以所述文本投影作为键向量和值向量,通过三者的协同作用进行特征转换,得到多模态交互后的音频投影; 所述文本→音频多头注意力层以所述文本投影作为查询向量,以所述音频投影作为键向量和值向量,通过三者的协同作用进行特征转换,得到多模态交互后的文本投影; 两个所述注意力池化层分别对经多模态交互后的所述音频投影和所述文本投影经压缩处理,对应得到音频池化特征和文本池化特征; 所述池化特征连接层将所述音频池化特征和所述文本池化特征进行拼接; 所述多模态融合层对拼接后的所述音频池化特征和所述文本池化特征进行多模态融合,生成多模态交互后的所述最终联合表征; 分类模块,负责利用训练好的疾病分类头,对所述最终联合表征进行多标签呼吸系统疾病分类任务,识别得到分类结果及相应概率; 设备对抗分支模块,负责在训练阶段引入梯度反转策略,使所述音频编码器在对抗所述设备分类头的过程中学习到与设备无关的表征,以减弱设备信息的干扰,提升多标签呼吸系统疾病分类任务的泛化性能; 输出模块,负责输出识别得到的分类结果及相应概率; 最终总损失函数,负责在模型训练阶段引入,利用由设备不变性损失和疾病联合损失组成的双分支多目标优化体系,对模型性能进行评估和优化。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人波江生命科学(上海)有限公司,其通讯地址为:200051 上海市长宁区仙霞路319号远东国际广场A座309号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励