买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆大学申请的专利一种多模态数据增强及其融合方法、装置、设备以及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120707989B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510834783.1，技术领域涉及：G06V10/774；该发明授权一种多模态数据增强及其融合方法、装置、设备以及介质是由胡春强;肖红娇;韩蒙;卢俊泽;夏晓峰;蔡斌设计研发完成，并于2025-06-20向国家知识产权局提交的专利申请。

本一种多模态数据增强及其融合方法、装置、设备以及介质在说明书摘要公布了：本发明涉及图像处理技术，揭露一种多模态数据增强及其融合方法，包括：获取多模态数据，并计算每种模态数据的高斯噪声向量；将每种模态数据的高斯噪声向量输入至多模态联合生成网络中进行数据生成，得到多模态数据组；提取多模态数据组中RGB图像数据以及Thermal图像数据的模态特征，并跨模态融合RGB图像数据以及Thermal图像数据的模态特征得到初始RGB_Thermal融合特征；提取多模态数据组中LiDAR点云特征；将LiDAR点云特征与初始RGB_Thermal融合特征进行特征融合得到多模态BEV视角特征。本发明还提出一种多模态数据增强及其融合装置、设备及介质。本发明可以提升环境检测和识别的准确率。

本发明授权一种多模态数据增强及其融合方法、装置、设备以及介质在权利要求书中公布了：1.一种多模态数据增强及其融合方法，其特征在于，所述方法包括： 获取多模态数据，并计算每种模态数据的高斯噪声向量，其中，多模态数据包括RGB图像数据、Thermal图像数据以及LiDAR点云数据； 将多模态数据的高斯噪声向量输入多模态联合生成网络，得到多模态数据组，其中，多模态数据组包括RGB图像生成数据、Thermal图像生成数据以及LiDAR点云生成数据，所述将多模态数据的高斯噪声向量输入多模态联合生成网络，得到多模态数据组，包括： 利用多模态联合生成网络的全连接层对每种模态数据的高斯噪声向量进行归一化处理，得到每种模态数据对应的归一化特征； 利用多模态联合生成网络的卷积层对每种模态数据对应的归一化特征进行上采样得到每种模态数据对应的高分辨率特征图； 利用图神经网络将每种模态数据对应的高分辨率特征图转化为异构图，并利用线性激活函数对异构图中的节点进行更新，得到更新异构图，其中，异构图中节点为不同模态的特征点，异构图中边为不同模态之间的关联； 根据更新异构图计算自适应注意力机制，并利用自适应注意力机制增强每种模态数据的特征表达，得到每种模态数据的增强特征； 将每种模态数据的增强特征利用多模态联合生成网络中模态对应的卷积层进行转置卷积处理，得到不同模态数据的生成数据； 整合不同模态数据的生成数据得到多模态数据组，其中，在所述整合不同模态数据的生成数据得到多模态数据组之后，还包括利用多模态联合生成网络的判别器对多模态数据组进行协调一致性处理，所述利用多模态联合生成网络的判别器对多模态数据组进行协调一致性处理，包括：将多模态数据组与真实多模态数据输入至判别器，得到多模态数据组与真实多模态数据对应的不同模态的概率值；根据多模态数据组与真实多模态数据对应的不同模态的概率值计算不同模态的模态嵌入编码；根据模态嵌入编码对多模态数据组进行协调一致性处理； 提取RGB图像生成数据对应的模态特征以及Thermal图像生成数据对应的模态特征，并跨模态融合RGB图像生成数据对应的模态特征以及Thermal图像生成数据对应的模态特征得到初始RGB_Thermal融合特征； 将LiDAR点云生成数据转化为LiDAR点云特征； 将LiDAR点云特征与初始RGB_Thermal融合特征进行特征融合得到多模态BEV视角特征，并根据多模态BEV视角特征进行环境识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆大学，其通讯地址为：400030 重庆市沙坪坝区沙正街174号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。