ToB企服应用市场:ToB评测及商务社交产业平台

标题: Move AI技术浅析（五）：动作辨认与分类 [打印本页]

作者: 渣渣兔 时间: 2024-12-30 15:52
标题: Move AI技术浅析（五）：动作辨认与分类
一、动作辨认与分类模块概述

动作辨认与分类 的主要任务是从提取到的运动特征中，辨认出具体的动作类型，并对动作举行分类。该模块包罗 动作辨认 和 动作分类 。

动作辨认：从运动特征中辨认出具体的动作类型，如走路、跑步、跳跃等。
动作分类：对辨认出的动作举行更细致的分类，如区分差别的舞蹈动作或差别的运动项目。

二、动作辨认详解

2.1 动作辨认步调详解

2.1.1 特征提取

动作辨认的第一步是从视频帧中提取出故意义的运动特征。特征提取包罗关键点检测和特征表现两个步调。

关键点检测：检测视频帧中的关键点（如人体关节、手部关键点、面部关键点等）。
- 方法：OpenPose, MediaPipe, AlphaPose 等。
- 关键技术：卷积神经网络（CNN）、热图（Heatmap）、部门亲和场（Part Affinity Fields, PAFs）。
特征表现：将检测到的关键点表现为适合后续处理的格式。
- 方法：坐标表现、热图表现、特征向量表现。
- 关键技术：坐标归一化、时间序列特征提取。

2.1.2 特征预处理

为了提高动作辨认的正确性，需要对提取到的特征举行预处理。

归一化处理：对关键点的坐标举行归一化处理，如相对于图像巨细或人体尺寸举行归一化。
- 公式：
时间序列数据生成：将关键点的坐标数据表现为时间序列数据。
- 公式：
数据增强：对时间序列数据举行数据增强，如旋转、平移、缩放等，以增加数据的多样性。

2.1.3 特征选择

从预处理后的特征中选择最具判别力的特征，以提高分类精度。

方法：
- 主身分分析（PCA）：用于降维和特征选择。
- 线性判别分析（LDA）：用于特征选择。
- 递归特征消除（RFE）：用于特征选择。

2.1.4 分类模型练习

使用标注数据练习分类模型。

模型选择：
- 支持向量机（SVM）：
  - 优点：分类精度高。
  - 缺点：对大规模数据处理本领有限。
- 随机丛林（Random Forest）：
  - 优点：对噪声不敏感。
  - 缺点：模型复杂度高。
- 卷积神经网络（CNN）：
  - 优点：可以自动提取特征，分类精度高。
  - 缺点：需要大量的计算资源和练习时间。
- 递归神经网络（RNN）：
  - 优点：可以处理时间序列数据。
  - 缺点：练习时间长，容易出现梯度消散题目。
- 时空图卷积网络（ST-GCN）：
  - 优点：可以有效地建模人体关节之间的关系和动作的时间动态特性。
  - 缺点：模型复杂度高。
练习过程：
- 数据划分：将数据集划分为练习集、验证集和测试集。
- 超参数调优：调解模型超参数，如学习率、批量巨细、迭代次数等。
- 模型评估：使用验证集评估模型性能，选择最佳模型。