Move AI技术浅析（五）：动作辨认与分类

一、动作辨认与分类模块概述

动作辨认与分类 的主要任务是从提取到的运动特征中，辨认出具体的动作类型，并对动作举行分类。该模块包罗 动作辨认 和 动作分类 。

• 动作辨认：从运动特征中辨认出具体的动作类型，如走路、跑步、跳跃等。
  
• 动作分类：对辨认出的动作举行更细致的分类，如区分差别的舞蹈动作或差别的运动项目。
  

二、动作辨认详解

2.1 动作辨认步调详解

2.1.1 特征提取

动作辨认的第一步是从视频帧中提取出故意义的运动特征。特征提取包罗关键点检测和特征表现两个步调。

• 关键点检测：检测视频帧中的关键点（如人体关节、手部关键点、面部关键点等）。
  
  
  
  • 方法：OpenPose, MediaPipe, AlphaPose 等。
    
  • 关键技术：卷积神经网络（CNN）、热图（Heatmap）、部门亲和场（Part Affinity Fields, PAFs）。
    
  
  
• 特征表现：将检测到的关键点表现为适合后续处理的格式。
  
  
  
  • 方法：坐标表现、热图表现、特征向量表现。
    
  • 关键技术：坐标归一化、时间序列特征提取。
    
  
  

2.1.2 特征预处理

为了提高动作辨认的正确性，需要对提取到的特征举行预处理。

• 归一化处理：对关键点的坐标举行归一化处理，如相对于图像巨细或人体尺寸举行归一化。
  
  
  
  • 公式：
    
    
    
  
  
• 时间序列数据生成：将关键点的坐标数据表现为时间序列数据。
  
  
  
  • 公式：
    
    
    
  
  
• 数据增强：对时间序列数据举行数据增强，如旋转、平移、缩放等，以增加数据的多样性。
  

2.1.3 特征选择

从预处理后的特征中选择最具判别力的特征，以提高分类精度。

• 方法：
  
  
  
  • 主身分分析（PCA）：用于降维和特征选择。
    
  • 线性判别分析（LDA）：用于特征选择。
    
  • 递归特征消除（RFE）：用于特征选择。
    
  
  

2.1.4 分类模型练习

使用标注数据练习分类模型。

• 模型选择：
  
  
  
  • 支持向量机（SVM）：
    
    
    
    • 优点：分类精度高。
      
    • 缺点：对大规模数据处理本领有限。
      
    
    
  • 随机丛林（Random Forest）：
    
    
    
    • 优点：对噪声不敏感。
      
    • 缺点：模型复杂度高。
      
    
    
  • 卷积神经网络（CNN）：
    
    
    
    • 优点：可以自动提取特征，分类精度高。
      
    • 缺点：需要大量的计算资源和练习时间。
      
    
    
  • 递归神经网络（RNN）：
    
    
    
    • 优点：可以处理时间序列数据。
      
    • 缺点：练习时间长，容易出现梯度消散题目。
      
    
    
  • 时空图卷积网络（ST-GCN）：
    
    
    
    • 优点：可以有效地建模人体关节之间的关系和动作的时间动态特性。
      
    • 缺点：模型复杂度高。
      
    
    
  
  
• 练习过程：
  
  
  
  • 数据划分：将数据集划分为练习集、验证集和测试集。
    
  • 超参数调优：调解模型超参数，如学习率、批量巨细、迭代次数等。
    
  • 模型评估：使用验证集评估模型性能，选择最佳模型。
    
  
  

2.1.5 分类预测

使用练习好的模型对新的数据举行分类预测。

• 方法：
  
  
  
  • 单标签分类：每个样本属于一个种别。
    
  • 多标签分类：每个样本属于多个种别。
    
  
  

2.2 动作辨认模型详解

2.2.1 支持向量机（SVM）

SVM 是一种经典的分类模型，可以用于动作辨认。

• 过程模型：
  
  
  
  
• 公式：
  
  
  
  

2.2.2 递归神经网络（RNN）

RNN 是一种专门用于处理序列数据的神经网络，可以用于动作辨认。

• 过程模型：
  
  
  
  
• 公式：
  
  
  
  

2.2.3 卷积神经网络（CNN）+ RNN

联合 CNN 和 RNN 的方法可以同时提取空间和时间特征。

• 过程模型：
  
  
  

2.2.4 时空图卷积网络（ST-GCN）

ST-GCN 联合了 GCN 和 TCN，可以有效地建模人体关节之间的关系和动作的时间动态特性。

• 过程模型：
  
  
  

三、动作分类详解

3.1 动作分类步调详解

3.1.1 动作辨认

首先，需要使用动作辨认方法辨认出具体的动作类型。
3.1.2 动作分类方法

动作分类方法可以分为以下几类：
1.多种别分类：

• 方法：将动作辨认为多个种别中的一个。
  
• 模型：SVM, Random Forest, CNN, RNN, ST-GCN 等。
  

2.多标签分类：

• 方法：将动作辨认为多个种别的组合。
  
• 模型：多标签 SVM, 多标签 CNN 等。
  

3.层次分类：

• 方法：将动作按照层次结构举行分类。
  
• 模型：层次 SVM, 层次 CNN 等。
  

3.2 动作分类模型详解

3.2.1 多种别分类模型

多种别分类模型可以使用以下方法：

• 一对一（One-vs-One）：
  
  
  
  • 方法：为每一对种别练习一个分类器。
    
  • 优点：实现简单。
    
  • 缺点：计算复杂度高。
    
  
  
• 一对多（One-vs-All）：
  
  
  
  • 方法：为每个种别练习一个分类器。
    
  • 优点：实现简单。
    
  • 缺点：可能存在种别不均衡题目。
    
  
  

3.2.2 多标签分类模型

多标签分类模型可以使用以下方法：

• Binary Relevance：
  
  
  
  • 方法：为每个标签练习一个二分类器。
    
  • 优点：实现简单。
    
  • 缺点：忽略了标签之间的相关性。
    
  
  
• Classifier Chains：
  
  
  
  • 方法：将标签链式连接起来，练习一系列分类器。
    
  • 优点：思量了标签之间的相关性。
    
  • 缺点：模型复杂度高。
    
  
  

3.2.3 层次分类模型

层次分类模型可以使用以下方法：

• 层次 SVM：
  
  
  
  • 方法：构建层次结构，为每个层次练习一个 SVM 分类器。
    
  • 优点：可以处理层次结构。
    
  • 缺点：模型复杂度高。
    
  
  
• 层次 CNN：
  
  
  
  • 方法：构建层次结构的 CNN 模型。
    
  • 优点：可以自动提取层次特征。
    
  • 缺点：需要大量的计算资源和练习时间。
    
  
  

四、关键技术

4.1 动作辨认关键技术

• 支持向量机（SVM）：用于分类。
  
• 递归神经网络（RNN）：用于处理时间序列数据。
  
• 卷积神经网络（CNN）：用于提取空间特征。
  
• 时空图卷积网络（ST-GCN）：用于提取时空特征。
  

4.2 动作分类关键技术

• 多种别分类方法：一对一、一对多。
  
• 多标签分类方法：Binary Relevance, Classifier Chains。
  
• 层次分类方法：层次 SVM, 层次 CNN。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。