机器学习（二十三）：决策树和决策树学习过程

一、决策树

下面是数据集，输入特征是耳朵形状、脸形状、是否有胡子，输出结果是是否为猫

下图是决策树，根据耳朵形状、脸形状、是否有胡子这几个特征，创建决策树，从根节点一步步预测结果。

上图中，每一个椭圆形和矩形是树的节点。最顶上的节点是树的根节点。除了最底下一层的节点外，其余节点（椭圆形）为决策节点。最底下一层的节点为叶节点。

• 决策节点：看到一个特定的特征，然后根据特征的值决定是向左照旧向右下树
  
• 叶节点：做出预测
  

也可以创建差别类型的决策树：

二、决策树学习过程

第一步：决定根节点利用什么特征
第二步：决定下一节点等节点利用什么特征
2.1 选择什么特征来分裂节点？

根据最大化纯度原则选择特征
例子：以预测输入是否为猫为例，需要挑选什么样的特征，使得按特征分类的子集里尽大概都是猫或者都不是猫。
如果以猫的DNA为特征，分裂节点，那么分裂出来的两个子集分别全为猫，全不为猫。这样的特征就满足最大化纯度。

如果以耳朵形状分，尖耳朵子集里大多数是猫，下垂耳朵子集里大多数不是猫。选取这样的特征也是不错的。

2.2 什么时候克制分裂？

1、当一个节点上全部是一个种类时，克制分裂。
2、当继承分裂，会超过树的最大深度时，克制分裂，这样可以确保树不会太大，使它不会过拟合。树的深度定义如下：

3、当纯度提高率低于阈值时，克制分裂。如果此时继承增加节点，取得的收益很小，有大概导致过拟合。
4、当子集的数据量低于阈值时，克制分裂。

学习来源：吴恩达机器学习，15.1-15.2节

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。