买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆邮电大学申请的专利一种基于基础模型和竞争性选择的双模态行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119580350B 。

龙图腾网通过国家知识产权局官网在2025-11-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411616016.5，技术领域涉及：G06V40/20；该发明授权一种基于基础模型和竞争性选择的双模态行为识别方法是由卿宇寒;高陈强;李欣霖设计研发完成，并于2024-11-13向国家知识产权局提交的专利申请。

本一种基于基础模型和竞争性选择的双模态行为识别方法在说明书摘要公布了：本发明涉及一种基于基础模型和竞争性选择的双模态行为识别方法，包括：针对用户在同一场景下的红外图片序列和可见光图片序列，采用竞争机制动态地生成红外图片和可见光图片的掩码信息，并将图像被掩码的位置记录下来作为掩码标记，未被掩码的位置作为可见标记；根据图像被掩码和未被掩码的位置将红外图片序列和可见光图片序列及其对应的掩码信息分别对应输入红外编码器和可见光编码器，提取相应的模态特征；将编码后得到的模态特征馈送到层级掩码融合模块，结合图像被掩码和未被掩码的位置计算得到融合特征，并将融合特征馈送到分类器计算对应场景下用户的行为类别，本发明能够提高行为识别任务的高效性与准确性。

本发明授权一种基于基础模型和竞争性选择的双模态行为识别方法在权利要求书中公布了：1.一种基于基础模型和竞争性选择的双模态行为识别方法，其特征在于，包括：对双模态行为识别模型进行训练，通过训练好的双模态行为识别模型对用户的行为进行识别，所述双模态行为识别模型包括：红外编码器、可见光编码器、层级掩码融合模块和分类器，行为识别过程如下： 所述对双模态行为识别模型进行训练包括： S01：将步骤S2编码后红外支路的模态特征和对应的掩码信息输入对应的红外光解码器得到重构的红外图片序列，并根据重构结果构建第一损失函数； S02：将步骤S2编码后可见光支路的模态特征和对应的掩码信息输入对应的可见光解码器得到重构的可见光图片序列，并根据重构结果构建第二损失函数； S03：根据分类器的输出结果和样本的行为标签构建第三损失函数，基于第一损失函数、第二损失函数和第三损失函数构建模型总的损失函数；基于构建的总的损失函数通过Adam优化器对双模态行为识别模型的参数进行更新，完成模型的训练； S1：针对用户在同一场景下的红外图片序列和可见光图片序列，采用竞争机制动态地生成红外图片和可见光图片的掩码信息，并将图像被掩码的位置记录下来作为掩码标记，未被掩码的位置作为可见标记； 对红外图片或可见光图片采用竞争机制动态地生成掩码信息包括： S11：构建一个内核和步幅大小都为16的信息感知模块，信息感知模块沿着通道方向计算特征强度的平均值作为每个token的得分； S12：给定3*3大小的运动区域，这个运动区域中的每个位置p都对应一个token； S13：对于红外图片或可见光图片，使用信息感知模块计算每个token的得分；在3×3运动单元区域内，选择得分靠前的2个token作为可见token；将剩余的token进行掩码处理，并记录掩码Token的位置作为掩码标记； S14：经过上述步骤，针对每个红外图片或可见光图片得到大小为的掩码图像块，将生成的每个掩码图像块分别放大为原来的4倍和2倍，得到掩码信息，所述掩码信息包括：大小为的Mask_block1和大小为的Mask_block2； S2：根据图像被掩码和未被掩码的位置将红外图片序列和可见光图片序列及其对应的掩码信息分别对应输入红外编码器和可见光编码器，提取相应的模态特征； S3：将步骤S2编码后得到的模态特征馈送到层级掩码融合模块，结合图像被掩码和未被掩码的位置计算得到融合特征，并将融合特征馈送到分类器计算对应场景下用户的行为类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆邮电大学，其通讯地址为：400065 重庆市南岸区南山街道崇文路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。