买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学申请的专利面向随动小车夜间工况下的多模态目标跟随方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116934794B 。

龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310695587.1，技术领域涉及：G06T7/20；该发明授权面向随动小车夜间工况下的多模态目标跟随方法和系统是由董志岩;闫哲;胡博;邓文清设计研发完成，并于2023-06-13向国家知识产权局提交的专利申请。

本面向随动小车夜间工况下的多模态目标跟随方法和系统在说明书摘要公布了：本发明涉及一种面向随动小车夜间工况下的多模态目标跟随方法和系统，方法包括在小车进行目标跟随过程中，分别采集RGB图像、深度图像和红外图像，将RGB图像和红外图像载入预先建立并训练好的YOLOv5‑RTFT目标检测网络中，进行目标检测，从而根据目标中心与取景框中心判断小车的转向角，进行目标跟踪；并基于深度图像，判断跟踪目标与小车之间的距离，实现目标跟随；YOLOv5‑RTFT目标检测网络为双通路网络，并设置了RGB图像与红外图像模态融合的RTTF模块。与现有技术相比，本发明提升了模型在夜晚识别的精度，能够实现小车对目标的自动跟随，节省了人力物力，提高了效率。

本发明授权面向随动小车夜间工况下的多模态目标跟随方法和系统在权利要求书中公布了：1.一种面向随动小车夜间工况下的多模态目标跟随方法，其特征在于，包括以下步骤： 在小车移动过程中，通过相机和红外成像仪采集待检测目标的各种姿态图，并进行图像标注，制作成训练数据集； 将所述训练数据集中的数据输入预先构建的YOLOv5-RTFT目标检测网络进行训练，得到训练好的目标检测模型，所述YOLOv5-RTFT目标检测网络为基于YOLOv5的双路网络结构，并引入RTFT结构，该RTFT结构在Transformer架构的基础上，删除Decoder结构，将图像信息分割成多个patches，从而融合RGB图像特征以及红外图像特征； 在小车进行目标跟随过程中，通过相机采集RGB图像以及深度图像，通过红外成像仪采集红外图像； 将采集的RGB图像和红外图像输入训练好的目标检测模型中，获取检测结果； 根据所述检测结果得到跟踪目标的中心坐标与取景框中心坐标的差值，从而判断小车的转向角，使得跟踪目标的中心点保持为取景框的中心点； 将RGB图上跟踪目标的坐标映射到所述深度图像上，得到跟踪目标与小车之间的距离，用来判断是否前进，实现目标跟随； 所述YOLOv5-RTFT目标检测网络包括输入端模块、Backbone模块、Neck模块和Prediction模块； 所述Backbone模块包括CBS结构、RTFT结构以及BottleNeck结构； 所述RTFT结构包括图像分块处理子结构、图像块嵌入子结构、位置编码子结构、Transformer编码器以及多层感知机； 所述图像分块处理子结构用于进行图像预处理，RGB图像以及深度图像的特征图经过CBS处理后，特征图统一变成，所述图像分块处理子结构用于将特征图分成个的patch，然后对每个patch进行展平，得到的数据维度为，其中，N为输入到Transformer编码器的序列长度，C为输入特征图的通道数，P为图像patch的大小； 所述图像块嵌入子结构用于将的向量维度转化为大小的二维输入，并进行图像块嵌入； 所述位置编码子结构用于在图像块嵌入过程中追加位置信息； 所述Transformer编码器包括相互连接的LayerNormalization子结构和Multi-HeadAttention子结构，所述LayerNormalization子结构用于在每一个样本上计算均值和方差，用每一列的每一个元素减去该列的均值，再除以该列的标准差，从而得到归一化后的满足标准正态分布的数值； 所述Multi-HeadAttention子结构包括多个self-attention层的叠加，每个self-attention层均为计算出三个新的向量Query、Key、Value，三个向量均是用embedding向量与一个随机初始化的矩阵相乘得到的结果，该矩阵在反向传播过程中更新；通过计算向量Query和Key的点积，然后将点积的结果除以向量Query的长度，从而计算注意力，得到向量Value的权重分布； 所述多层感知机为全连接层，用于将融合后的特征再次分离，得到融合后的RGB特征和红外特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。