买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门理工学院申请的专利基于特征重构的跨模态行人重识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116434143B 。

龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310406803.6，技术领域涉及：G06V20/52；该发明授权基于特征重构的跨模态行人重识别方法及系统是由陈思;邱刘翔;王大寒;朱顺痣;吴芸;许华荣设计研发完成，并于2023-04-17向国家知识产权局提交的专利申请。

本基于特征重构的跨模态行人重识别方法及系统在说明书摘要公布了：本发明涉及一种基于特征重构的跨模态行人重识别方法，包括以下步骤：1从数据集中成对抽取多个行人的可见光图片和红外图片，形成可见光训练数据集和红外训练数据集；2构建基于特征重构的跨模态行人重识别网络模型，所述跨模态行人重识别网络模型主要包括特定特征提取模块、多尺度特征提取模块、Token感知的多尺度特征融合模块和跨模态特征重构模块；通过可见光训练数据集和红外训练数据集对跨模态行人重识别网络模型进行训练，得到可泛化的模型参数；3将训练好的跨模态行人重识别网络模型用于跨模态检索，实现跨模态行人重识别。该方法及系统有利于获得更加稳定、鲁棒、准确的跨模态行人重识别结果。

本发明授权基于特征重构的跨模态行人重识别方法及系统在权利要求书中公布了：1.一种基于特征重构的跨模态行人重识别方法，其特征在于，包括以下步骤： 1从数据集中成对抽取多个行人的可见光图片和红外图片，形成可见光训练数据集和红外训练数据集； 2构建基于特征重构的跨模态行人重识别网络模型，所述跨模态行人重识别网络模型包括特定特征提取模块、多尺度特征提取模块、Token感知的多尺度特征融合模块和跨模态特征重构模块；通过可见光训练数据集和红外训练数据集对跨模态行人重识别网络模型进行训练，得到可泛化的模型参数； 3将训练好的跨模态行人重识别网络模型用于跨模态检索，实现跨模态行人重识别； 步骤2中，所述跨模态行人重识别网络模型的实现方法为： A分别通过独立的特定特征提取模块对输入的可见光图片和红外图片进行行人特征提取，然后将提取的行人特征同时输入多尺度特征提取模块； B所述多尺度特征提取模块通过多个不同尺度的特征提取模块对可见光图片和红外图片进行多尺度的行人特征提取； C将多尺度的行人特征送入到Token感知的多尺度特征融合模块，所述Token感知的多尺度特征融合模块采取可学习Token序列从局部和全局视角双向交互对多尺度的行人特征之间的关系进行建模，减少不同尺度下行人无关特征的干扰；将所述局部和全局视角双向交互过程重复多次，得到最终的可见光、红外多尺度特征关系图和包含多尺度信息的可见光、红外Token序列； D将得到的多尺度特征关系图和原有的行人特征进行结合，送入多尺度特征提取模块的最后一个特征提取模块进行进一步的特征学习，然后进行池化以及水平分割，得到行人的可见光、红外全局特征以及局部特征； E将行人的可见光、红外全局特征以及局部特征和包含多尺度信息的可见光、红外Token序列输入跨模态特征重构模块进行跨模态特征重构，发掘不同模态下行人特征的联系； F为了减少行人特征在重构过程中产生的噪声，构建特征重构损失，对重构后特征和目标模态特征进行损失计算，通过优化器最小化两者的误差，以增强两个模态之间特征的联系； 步骤B中，所述多尺度特征提取模块包括四个特征提取模块Stage‑1、Stage‑2、Stage‑3、Stage‑4；特定特征提取模块提取的行人特征大小为3*288*144，经过第一个特征提取模块Stage‑1后，特征图大小为256*72*36，经过第二个特征提取模块Stage‑2后，特征图大小为512*36*18，经过第三个特征提取模块Stage‑3后，特征图大小为1024*18*9； 步骤C中，利用自适应池化对行人的不同尺度特征进行统一后再拼接，利用卷积和Transformer的双向混合结构对行人多尺度特征进行建模，减少不同尺度下行人无关特征的干扰；利用可学习的Token序列对行人多尺度特征进行局部和全局视角下的关系发掘；对于可见光的行人多尺度特征的融合，从局部视角转向全局视角的过程表示为： 其中，表示为可学习Token序列，数量设置为6，表示将三维的行人特征展平为二维特征操作，表示多头注意力机制，表示前向反馈操作，表示层归一化操作； 从全局视角转向局部视角的过程表示为： 其中，表示卷积操作，表示将二维特征转成三维特征操作； 步骤E中，所述跨模态特征重构模块的实现方法为： 利用步骤C中得到的包含行人多尺度信息的可见光、红外Token序列，对行人的可见光、红外全局特征以及局部特征进行重构，以增强两个模态特征之间的关系，对于全局特征的跨模态重构得到的特征表示为： 其中，表示注意力机制，表示使用第一个行人的红外Token序列，、和表示将相应的特征转换成Query、Key和Value矩阵；同理，将上述公式中的替换为，即得到跨模态特征重构后的局部特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门理工学院，其通讯地址为：361024 福建省厦门市集美区理工路600号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。