买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京大学申请的专利一种高效自适应的图片人物交互检测方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119495128B 。

龙图腾网通过国家知识产权局官网在2026-01-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311130958.8，技术领域涉及：G06V40/70；该发明授权一种高效自适应的图片人物交互检测方法和系统是由刘洋;雷廷;陈庆超;彭宇新设计研发完成，并于2023-09-04向国家知识产权局提交的专利申请。

本一种高效自适应的图片人物交互检测方法和系统在说明书摘要公布了：本发明涉及一种高效自适应的图片人物交互检测方法和系统。该系统包含两种运行模式：免训练模式：系统利用预训练的目标检测器和多模态模型，构建多分支的概念引导的人物交互记忆模块，来同时存储特定域视觉知识和普遍域语义知识，完成人物交互检测；微调模式：利用基于注意力机制的轻量级适配器，为模型中的视觉编码器融入实例级的先验知识，同时更新人物交互记忆模块中存储的知识，获得更好的人物编码特征。本发明中免训练下的模型可以在只有少量样本的情况下完成人物交互检测任务并取得有竞争力的性能，微调模式下的模型可以获得更加空间敏感的成对关系特征，让人物交互关系检测更加准确。

本发明授权一种高效自适应的图片人物交互检测方法和系统在权利要求书中公布了：1.一种基于概念引导记忆的高效自适应的图片人物交互检测方法，其特征在于，包括以下模式： 免训练模式：利用预训练的目标检测器和多模态模型，构建多分支的概念引导的人物交互记忆模块，所述人物交互记忆模块同时存储特定域视觉知识和普遍域语义知识，使得在只有少量样本的情况下也能够完成人物交互检测任务并取得有竞争力的性能； 微调模式：利用基于注意力机制的轻量级适配器，为视觉编码器融入实例级的先验知识，同时更新人物交互记忆模块中存储的知识，以获得更加空间敏感的成对关系特征，使得人物交互关系预测更加准确； 所述免训练模式利用预训练的目标检测器DETR检测图片中所有的人和物体，利用预训练的CLIP为目标区域和不同人物交互类别的语言描述提取特征；被目标检测器检测到的人和物体区域分别记为bh,bo，对每一对人和物体，其并集区域记作bu；对人的区域，物体的区域，人物并集的区域使用CLIP所提取出的特征分别记为fh,fo,fu，连结fh和fo组成以物体为中心的细粒度特征fIC,直接把fu作为包含人物交互场景信息的特征fIA； 所述人物交互记忆模块包含三个分支，分别是实例中心分支、交互意识分支和语义分支；所述实例中心分支存储以人和物体为中心的细粒度特征集，即人区域和物体区域的特征；所述交互意识分支存储包含人物交互场景背景信息的特征，即人和物体并集区域的特征；所述实例中心分支和所述交互意识分支存储的特征组成特定域视觉知识；所述语义分支存储具有泛化能力的各类人物交互语义特征集，即普遍域语义知识； 所述轻量级适配器被插入视觉编码器的每一层组成部分中，帮助从目标检测器检测到的物体中学习融合先验知识；设表示视觉编码器的第i层特征图，其中H′W′表示特征图的大小，d表示特征图的空间维度，使用低维映射矩阵和高维映射矩阵把特征矩阵压缩到低维空间或映射回高维空间，其中d′＜＜d；之后利用多头注意力机制MHSA实现先验知识注入： Ht＝MLPpPt X′i＝MHSAXi·Wdown,Ht,Ht·Wup 其中，X′i表示先验知识，代表从图片中提取出的Nt个实例级的先验知识；pt＝{bt,ct,et}由实例的边界框坐标bt，实例的置信度ct和实例的语义编码et组成，Ht代表先验知识通过全连接网络MLPp映射后的隐藏状态； 所述微调模式将人物视觉编码特征与人物交互记忆模块中的实例中心分支和交互意识分支的键比较余弦相似度，并分别作为权重加权各分支的值，得到两个分支的预测结果，同时将人物视觉编码特征通过语义分支的分类器得到该分支的预测结果，最终将不同分支的预测结果以加权平均的方式融合，得到最终交互种类预测结果；通过注意力机制将先验知识融入到视觉编码器中，获得所述人物视觉编码特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京大学，其通讯地址为：100871 北京市海淀区颐和园路5号北京大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。