买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉卓尔智联(武汉)研究院有限公司申请的专利多模态数据处理方法、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114168780B 。

龙图腾网通过国家知识产权局官网在2026-02-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111301728.4，技术领域涉及：G06F16/583；该发明授权多模态数据处理方法、电子设备及存储介质是由李涵设计研发完成，并于2021-11-04向国家知识产权局提交的专利申请。

本多模态数据处理方法、电子设备及存储介质在说明书摘要公布了：本申请实施例公开了一种多模态数据处理方法，包括：在神经网络模型中根据当前输入的数据确定第一特征向量和第二特征向量；数据包括图像模态数据和文本模态数据；基于第一特征向量、第二特征向量分别确定第一损失值和第二损失值；第一损失值表征当前输入的数据的语义类别预测误差；第二损失值表征当前输入的数据与历史输入的数据之间语义相关性与距离的关联程度；语义相关性表示数据是否属于同一语义类别；基于神经网络模型中当前输入以及历史输入的全部数据对应的特征向量确定第三损失值；第三损失值表征图像模态和文本模态之间的差异程度；基于第一损失值、第二损失值以及第三损失值训练神经网络模型。

本发明授权多模态数据处理方法、电子设备及存储介质在权利要求书中公布了：1.一种多模态数据处理方法，其特征在于，所述方法包括： 在神经网络模型中根据当前输入的数据确定第一特征向量和第二特征向量；所述数据包括图像模态数据和文本模态数据； 基于所述第一特征向量、所述第二特征向量分别确定第一损失值和第二损失值；所述第一损失值表征当前输入的数据的语义类别预测误差；所述第二损失值表征所述当前输入的数据与历史输入的数据之间语义相关性与距离的关联程度；所述语义相关性表示数据是否属于同一语义类别； 基于所述神经网络模型中当前输入以及历史输入的全部数据对应的特征向量确定第三损失值；所述第三损失值表征图像模态和文本模态之间的差异程度； 基于所述第一损失值、所述第二损失值和第四损失值，计算损失参数；其中，所述第四损失值表征所述神经网络模型的拟合程度；所述第一损失值、所述第二损失值和第四损失值的计算均属于所述神经网络模型的特征生成模块，所述第三损失值的计算属于所述神经网络模型的模态分类模块； 在针对各损失值完成预定次数的迭代计算后，统计所述损失参数和所述第三损失值之间的最小差值和最大差值； 基于所述损失参数与所述第三损失值的差值最小时对应的第一网络参数、图像模态参数和文本模态参数，对所述神经网络模型的第一网络参数、图像模态参数和文本模态参数进行更新；其中，所述第一网络参数为所述特征生成模块中的用于计算所述第一损失值的网络对应的网络参数； 基于所述损失参数与所述第三损失值的差值最大时对应的第二网络参数，对所述神经网络模型的第二网络参数进行更新；其中，所述第二网络参数为所述模态分类模块中的用于计算所述第三损失值的网络对应的网络参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人卓尔智联(武汉)研究院有限公司，其通讯地址为：432200 湖北省武汉市黄陂区盘龙城经济开发区汉口北大道88号汉口北国际交易中心D1区7层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。