西安电子科技大学李睿敏获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西安电子科技大学申请的专利基于文本规则提示学习的动作时空感知质量评估方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119625817B 。
龙图腾网通过国家知识产权局官网在2025-12-16发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411346934.0,技术领域涉及:G06V40/20;该发明授权基于文本规则提示学习的动作时空感知质量评估方法是由李睿敏;吕修哲;缑水平;王文金;黄湖设计研发完成,并于2024-09-26向国家知识产权局提交的专利申请。
本基于文本规则提示学习的动作时空感知质量评估方法在说明书摘要公布了:本发明公开了基于文本规则提示学习的动作时空感知质量评估方法,主要解决现有技术评估局限性大及准确率低的问题。其实现方案是:采集不同健身方法的动作视频,并按照要求标注,划分训练集与测试集;基于现有的CLIP模型,构建基于文本规则提示学习的动作时空感知质量评估网络;挖掘动作规则的时间进程线索,提炼对评估结果有直接影响的视频动作特征和规则文本特征;对视频动作特征和规则文本特征进行多模态融合;用训练集对基于文本规则提示学习的动作时空感知质量评估网络进行训练;将测试数据输入到训练好的质量评估网络给出动作评分,给出动作是否标准的结果。本发明降低了动作质量评估的成本,提高了评估的准确率,可用于细粒度体育健身动作质量评估。
本发明授权基于文本规则提示学习的动作时空感知质量评估方法在权利要求书中公布了:1.一种基于文本规则提示学习的动作时空感知质量评估方法,其特征在于,包括: 1采集不同健身方式的动作视频,按照要求进行标注,并根据动作的类别按照不同比例划分训练集和测试集; 2基于现有的CLIP模型,构建基于文本规则提示学习的动作时空感知质量评估网络: 2a建立由视频编码器模块和3D转置卷积模块组成的细粒度视频时空编码器模块,用于提取视频的细粒度基础视频特征;其实现如下: 2a1通过视频编码器模块提取输入视频的视频特征,其维度为,其中,为视频帧数,和分别表示视频的高度和宽度,为通道数; 2a2对视频特征的时间通道进行扩展,即将其由上采样至,再通过3D转置卷积模块和全局3D最大池化操作后得到细粒度基础视频特征,其维度为,其中为健身动作规则数量; 2b建立基于现有CLIP图像编码器和CLIP文本编码器的时间进程线索挖掘模块,用于利用视频帧与动作进程线索文本之间的相关性生成时间注意力;实现如下: 2b1将视频输入CLIP图像编码器,生成维度为的CLIP图像视觉特征,同时根据个健身动作规则文本,构建一个包含所有规则文本子集的文本细粒度描述,并将其输入到CLIP文本编码器,生成维度为的CLIP文本特征; 2b2沿着时间维度将CLIP文本特征与CLIP图像视觉特征进行拼接,生成维度为的拼接特征,将拼接后的特征通过时序Transformer自适应融合,生成维度为的CLIP时序图像特征; 2b3利用动作与规则对应的时间段信息生成线索文本,并将其输入到CLIP文本编码器,生成维度为的可学习的线索特征,其中为线索的个数; 2b4利用相似性计算公式衡量CLIP时序图像特征和可学习线索特征之间的相似性,其中第个线索文本句子在第帧的相似性计算公式如下所示: ; 式中,,,上标表示转置; 2b5对输入视频的所有视频帧进行相似性计算后得到个相似性值,并将其沿时间维组成一个相似性矩阵,得到每个线索文本句子对应的动作时间进程注意力: ; 式中,,表示输入视频中的所有视频帧与第个线索文本句子所含时间进程信息的相关性; 2c建立基于视觉和规则文本特征的多模态规则空间感知融合模块,用于利用视觉与文本信息,提炼对评估结果有直接影响的多模态融合特征; 2d将步骤2a~2c建立的各模块依次级联连接,并将多模态融合特征连接到与健身运动规则数量相同的多层感知器,构成基于文本规则提示学习的动作时空感知质量评估网络,将现有的BCEWithLogitsLoss损失函数作为该网络的损失函数; 3将训练集数据输入上述动作时空感知质量评估网络,利用AdamW优化算法对其进行训练,直至网络损失函数处于收敛状态,得到训练好的质量评估网络: 4将测试集数据输入到训练好的动作时空感知质量评估网络,得到测试数据对应的估计结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西安电子科技大学,其通讯地址为:710071 陕西省西安市雁塔区太白南路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励