买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湖北民族大学申请的专利基于跨模态图像融合识别的异常驾驶行为检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119206674B 。

龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411262320.4，技术领域涉及：G06V20/59；该发明授权基于跨模态图像融合识别的异常驾驶行为检测方法是由胡涛;谭寒钟;李军设计研发完成，并于2024-09-10向国家知识产权局提交的专利申请。

本基于跨模态图像融合识别的异常驾驶行为检测方法在说明书摘要公布了：本发明提供一种基于跨模态图像融合识别的异常驾驶行为检测方法，包括对驾驶员的驾驶行为进行红外和深度模态图像采集；针对在同一视角下采集到的红外和深度模态图像，对红外和深度模态图像均执行：采用编码器对对应模态图像进行N次MT2T处理，获得对应模态特征图；采用跨模态双边多头多交叉代理转换器对红外和深度模态特征图进行跨模态融合，获得红外和深度模态特征融合图；将红外和深度模态特征融合图进行叠加，获得模态特征总图，采用解码器对该模态特征总图进行N+1次RMT2T处理，获得解码标记；根据解码标记、检测标记和边界标记，对该视角下驾驶员的异常驾驶行为进行检测。本发明异常驾驶行为检测方法较为简单、识别准确度和效率均较高。

本发明授权基于跨模态图像融合识别的异常驾驶行为检测方法在权利要求书中公布了：1.一种基于跨模态图像融合识别的异常驾驶行为检测方法，其特征在于，包括： 步骤S100、对驾驶员的驾驶行为进行红外模态图像和深度模态图像采集； 步骤S200、针对在同一视角下采集到的红外模态图像和深度模态图像，对该红外模态图像和深度模态图像均执行：采用编码器对对应模态图像进行N次MT2T处理，获得对应模态特征图，N为大于1的整数； 步骤S300、采用跨模态双边多头多交叉代理转换器对红外模态特征图和深度模态特征图进行跨模态融合，获得红外模态特征融合图和深度模态特征融合图； 步骤S400、将该红外模态特征融合图和深度模态特征融合图进行叠加，获得模态特征总图，采用解码器对该模态特征总图进行N+1次RMT2T处理，获得解码标记； 步骤S500、根据该解码标记、检测标记和边界标记，对该视角下驾驶员的异常驾驶行为进行检测； 所述步骤S200包括对该红外模态图像和深度模态图像均执行以下步骤： 步骤S210、将对应模态图像输入MRT2T模块中，该MRT2T模块将该模态图像中的每一帧均编码为补丁标记patchtoken； 步骤S220、该MRT2T模块使用MHSA层对该补丁标记patchtoken进行注意力计算，此后再通过多层感知机MLP，以将该补丁标记patchtoken转换为新的标记token，将该新的标记token重塑成二维图像，由此完成该补丁标记patchtoken的重构； 步骤S230、对该二维图像进行软分割，以将该二维图像分割为多个大小为k*k的图像补丁，每个图像补丁与其相邻图像补丁均有s个重叠的标记token，由此完成一次MT2T处理，获得第i次MT2T处理后的对应模态特征图，将用于表示MT2T处理完成次数的i加1，其中k和N均为大于1的整数，s为大于0的整数，i为小于或者等于N的整数且初始值为1； 步骤S240、判断i是否等于N，若是，则表示该MRT2T模块完成下采样，获得第N次MT2T处理后的对应模态特征图，执行步骤S300；否则，对于第i次MT2T处理后获得的对应模态特征图，将该模态特征图中的图像补丁作为该补丁标记patchtoken，返回执行步骤S220，所述模态特征图包括红外模态特征图和深度模态特征图； 所述步骤S300包括： 步骤S310、通过layearNorm层对该红外模态特征图和深度模态特征图分别进行归一化处理； 步骤S320、利用双边交叉代理注意力网络结构对归一化处理后的红外模态特征图和深度模态特征图进行跨模态特征融合，获得红外模态代理特征和深度模态代理特征； 步骤S330、将该红外模态特征图与该红外模态代理特征进行叠加，获得红外模态特征叠加图；将该深度模态特征图与该深度模态代理特征进行叠加，获得深度模态特征叠加图； 步骤S340、通过layearNorm层对该红外模态特征叠加图和深度模态特征叠加图分别进行归一化处理； 步骤S350、归一化处理后的红外模态特征叠加图和深度模态特征叠加图分别通过多层感知机MLP后，对应与该红外模态特征叠加图和深度模态特征叠加图叠加，获得红外模态特征融合图和深度模态特征融合图； 所述步骤S320包括： 步骤S321、将该红外模态特征图和深度模态特征图的注意力分别扩增为四元组Qr,Ar,Kr,Vr和Qd,Ad,Kd,Vd，其中Qr,Kr,Vr分别为红外模态特征图的原始Softmax注意力中的三组标记token，Ar是由Qr池化而来的标记token，且Qr,Kr,Vr为该红外模态特征图分别经过三个不同的线性投影层后获得的对应组标记token；Qd,Kd,Vd分别为深度模态特征图的原始Softmax注意力中的三组标记token，Ad是由Qd池化而来的标记token，且Qd,Kd,Vd为该深度模态特征图分别经过三个不同的线性投影层后获得的对应组标记token； 步骤S322、针对该红外模态特征图，根据Ar、Kd和Vd进行第一次交叉代理注意力计算，获得针对该深度模态特征图，根据Ad、Kr和Vr进行第一次交叉代理注意力计算，获得 步骤S323、针对该红外模态特征图，根据Qr、Ad和进行第二次交叉代理注意力计算，获得针对该深度模态特征图，根据Qd、Ar和进行第二次交叉代理注意力计算，获得 步骤S324、针对该红外模态特征图，将与深度卷积DWC后的Vr进行叠加，获得红外模态代理特征；针对深度模态特征图，将与深度卷积后的Vd进行叠加，获得深度模态代理特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湖北民族大学，其通讯地址为：445000 湖北省恩施土家族苗族自治州学院路39号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。