买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉国网安徽省电力有限公司超高压分公司申请的专利一种跨域双模态特征融合的实时人体行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116561637B 。

龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310585874.7，技术领域涉及：G06F18/24；该发明授权一种跨域双模态特征融合的实时人体行为识别方法是由章丹;吕妍;孙巍巍;吴海艳;施雯;王远;胡茂亮;廖羽晗;邱曼曼;霍骋;陈迎;罗长;万礼嵩;赵晓山;王法治;郭可贵;韩玉;孟磊;马欢;沈风;罗俊骁设计研发完成，并于2023-05-23向国家知识产权局提交的专利申请。

本一种跨域双模态特征融合的实时人体行为识别方法在说明书摘要公布了：本发明公开了一种跨域双模态特征融合的实时人体行为识别方法，其步骤包括：1、采集CSI动作样本数据和视频样本数据；2、对采集数据进行预处理；3、构建双线程动作特征提取网络提取CSI样本和视频样本中的动作特征；4、构建特征融合和特征对齐网络将两个模态的动作特征进行融合；5、将融合特征输入到分类器网络进行人体动作识别。本发明基于CSI和视频双模态信息实现行为识别，具有较强的识别准确性和抗干扰能力。

本发明授权一种跨域双模态特征融合的实时人体行为识别方法在权利要求书中公布了：1.一种跨域双模态特征融合的实时人体行为识别方法，其特征在于，是按如下步骤进行： 步骤1、采集CSI动作样本数据和视频样本数据； 步骤1.1、在矩形区域内选定间距均为d的个位置区域和个随机位置区域，其中，个位置区域为训练位置，个随机位置区域作为测试位置，且+=m； 步骤1.2、在所述矩形区域的外围放置一台路由器作为WIFI信号的发送设备，记为AP，在所述矩形区域的外围放置一台具有无线网卡的PC作为接收设备，记为，在所述矩形区域的外围放置一台摄像头作为视频数据接收设备，记为； 步骤1.3、令q名实验人员分别在m个位置执行n种动作，其中，名人员作为训练人员，名人员作为测试人员，且，并通过接收q名实验人员动作的CSI数据；同时，使用采集q名实验人员动作的视频数据； 步骤2、对数据进行预处理； 步骤2.1、通过小波变换对CSI数据的幅度值进行降噪处理，再进行等间隔采样，从而得到CSI动作样本集合={|}，其中，表示第j个位置上的第i名人员的CSI动作样本，对应的真实标签； 对视频数据进行等间隔采样，从而构建视频动作样本数据集={,|，}，其中，表示第j个位置上的第i名人员的视频动作样本，为对应的真实标签，且=，其中，表示视频动作样本的第k帧图像；f表示视频动作样本的总帧数； 步骤3、构建双模态人员行为识别网络，包括：特征提取模块、特征融合模块、特征对齐模块与分类模块； 步骤3.1、构建所述特征提取模块，包括：CSI动作特征提取模块和视频动作特征提取模块； 步骤3.1.1、所述CSI动作特征提取模块由一层GAT网络、一层InT网络、一层平均池化层Avgpool和一层Flatten网络构成；其中，所述GAT网络由a个图注意力层构成；所述InT网络是由b个Inception网络构成； 所述CSI动作样本输入双模态人员行为识别网络中，并由特征提取模块中CSI动作特征提取模块的GAT网络进行处理后，得到图注意力特征； 所述图注意力特征输入到InT网络中进行特征提取，得到动作特征； 所述动作特征依次经过平均池化层Avgpool和Flatten网络的处理后，得到CSI动作样本特征； 步骤3.1.2、所述视频动作特征提取模块包括：空间特征提取模块和时间特征提取模块； 其中，所述空间特征提取模块是由f个并行的空间特征提取单元组成，每个空间特征提取单元由一层ResNet-50残差网络和一层Flatten层构成； 所述时间特征提取模块依次由s层LSTM长短时记忆网络和一层Flatten层构成； 所述视频动作样本=输入输入双模态人员行为识别网络中，并由视频动作特征提取模块中的空间特征提取模块的f个并行的空间特征提取单元进行处理后，得到相应空间动作特征；其中，表示第k个空间特征提取单元对提取的空间动作特征； 所述空间动作特征输入所述时间特征提取模块中进行处理后，得到视频动作特征； 步骤3.2、所述特征融合模块是由3个全连接层构成； 将CSI动作样本特征和视频动作特征输入到特征融合模块中，并利用式1得到融合特征； =+1 式1中，表示第1个全连接层，表示第2个全连接层，表示第3个全连接层； 步骤3.3、所述特征对齐模块由梯度反转层GRL和鉴别器网络Disc构成； 所述梯度反转层GRL在网络正向传播时，保持输入的融合特征自身的梯度；在网络反向传播时，将输入的融合特征的梯度取反后乘以参数，且∈； 所述鉴别器网络Disc由两层一维卷积层，一层LeakyRelu层和一层全连接层构成； 所述融合特征输入鉴别器网络Disc中，并依次经过第一层一维卷积层、一层LeakRelu层、第二层一维卷积层和一层全连接层后得到域特征； 所述域特征通过Softmax函数后得到分类概率序列，并将分类概率序列中最大概率所对应的类别作为和的域标签； 步骤3.4、由和的域标签及其真实标签中的人员和位置构建交叉熵损失函数Loss1； 步骤3.5、构建所述分类模块是由全连接层FC构成； 所述融合特征输入所述分类模块中进行处理后，得到特征向量序列，再通过Softmax函数的处理后，得到特征概率向量，并将特征概率向量中最大概率所对应的类别作为预测的动作种类； 步骤3.6、由和的预测的动作种类及其真实标签中的动作种类构建交叉熵损失函数Loss2； 步骤3.7、构建总损失Loss=Loss1+Loss2，其中，为权重因子； 步骤4、基于CSI动作样本集合和视频动作样本数据集，利用梯度下降法对所述双模态人员行为识别网络进行训练，并对Loss进行误差反向传播以更新网络参数，直到Loss收敛为止，从而得到训练好的人员行为识别模型用于对任意位置上的动作进行识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人国网安徽省电力有限公司超高压分公司，其通讯地址为：230022 安徽省合肥市包河区桐城南路397号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。