买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京大学申请的专利多模态数据处理方法、装置、存储介质及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119226992B 。

龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411058820.6，技术领域涉及：G06F18/25；该发明授权多模态数据处理方法、装置、存储介质及电子设备是由卢宗青;张万鹏设计研发完成，并于2024-08-02向国家知识产权局提交的专利申请。

本多模态数据处理方法、装置、存储介质及电子设备在说明书摘要公布了：本发明公开了一种多模态数据处理方法、装置、存储介质及电子设备。其中，所述方法包括：获取待识别的多模态数据，所述多模态数据包括图像数据和文本数据；获取所述图像数据对应的图像嵌入向量，基于预训练融合词表将所述图像嵌入向量转换为预融合编码向量；所述预训练融合词表为根据图像训练样本得到的用于减少图像特征的编码量的编码本；将所述预融合编码向量和文本数据对应的文本嵌入向量进行组合，得到目标多模态向量。本发明解决了相关技术中多模态大语言模型占用计算资源较多，难以有效地理解和融合多模态信息，整体性能不佳的技术问题。

本发明授权多模态数据处理方法、装置、存储介质及电子设备在权利要求书中公布了：1.一种多模态数据处理方法，其特征在于，包括： 获取待识别的多模态数据，所述多模态数据包括图像数据和文本数据； 获取所述图像数据对应的图像嵌入向量，以及预设的图像处理模型对应的初始编码本，以及图像训练样本； 基于所述图像训练样本对应的图像嵌入向量，更新所述初始编码本，得到预训练融合词表，包括： 获取基于所述图像处理模型得到的所述图像训练样本对应的图像嵌入向量； 针对所述图像训练样本中的每个图像对应的图像嵌入向量，依次执行如下码本更新操作，直至所述初始编码本达到预设编码数量： 确定当前图像对应的图像嵌入向量的图像编码连接状态，所述图像编码连接状态包括水平方向的图像编码连接状态和垂直方向的图像编码连接状态； 根据所述图像编码连接状态，确定所述当前图像是否存在出现次数大于预设次数的第一编码对；所述第一编码对指示在水平方向或垂直方向相邻的两个图像编码； 若所述当前图像存在出现次数大于预设次数的第一编码对，则将所述第一编码对替换为第一更新编码值，得到第一图像嵌入向量，将所述第一更新编码值加入所述初始编码本； 判断更新后的图像嵌入向量中是否存在出现次数大于预设次数的第二编码对；所述第二编码对指示在水平方向或垂直方向相邻的两个图像编码；若存在，则将所述第二编码对替换为第二更新编码值，得到第二图像嵌入向量，将所述第二更新编码值加入所述初始编码本； 基于所述预训练融合词表将所述图像嵌入向量转换为预融合编码向量；所述预训练融合词表为根据图像训练样本得到的用于减少图像特征的编码量的编码本； 将所述预融合编码向量和文本数据对应的文本嵌入向量进行组合，得到目标多模态向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京大学，其通讯地址为：100871 北京市海淀区颐和园路5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。