f 物联网-数学建模~~~预测方法-决策树模子 - Powered by qidao123.com技术社区

数学建模~~~预测方法--决策树模子

莱莱  论坛元老 | 2024-8-29 14:48:19 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 2078|帖子 2078|积分 6234

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

x
目录

0.直击重点
1.决策树概念
2.节点特征的选择算法
3.基尼系数的计算
4.决策树的分类
5.模子的搭建
6.模子的改进和评价
ROC曲线
参数调优
 GridSearch网格搜刮
使用搜刮结果重新建模

0.直击重点

这个文章，我们从三个维度进行说明介绍：
第一维度：介绍基本的概念，以及这个决策树的分类和相关的这个算法和基尼系数的计算方法，通过给定这个用户的数据预测这个用户是否会离职；
第二维度：增长数据量，通过语言评价（低，高，中）转换为真实的数据0,1,2，来评估这个用户离职的概率，通过分类正确率函数评估这个预测乐成的样本数目和score函数预测这个正确率
第三维度：我们通过调优参数对于这个模子进行了改进，介绍了这个命中率和误判率的概念和基于这两者绘制的ROC曲线和AUC数值，有两个方法：
一个就是把这个参数全部传递进去，使用best_search属性去确定这个最优解；
另一个就是进行循环，格式化输出全部的AUC数值，进行比力得出来这个最优的解；
两个结果的方法可以进行验证，证明我们的模子的正确性~~~
1.决策树概念


决策树里面学习的这个根节点，内部节点和这个叶节点雷同于我们的数据布局里面学习的这个二叉树的布局，两个都是树形布局，都有这个根节点，叶子结点以及这个内部节点的定义，从某种意义上面而言，这两个是可进行类比学习的；
2.节点特征的选择算法

节点特征的不同选择，这个节点的子节点的内容肯定就是不一样的，这个时候，如何进行这个节点的选择就很告急，针对于这个节点的额选择，有下面的几个算法，我们以第三个为例进行介绍；
ID3算法，C4.5算法，CART算法（利用基尼系数作为指标的算法）；
3.基尼系数的计算







4.决策树的分类

我们下面的介绍以分类决策树为主：

   

  • 导入对应的模块；
  • 选择对应的数据，并以二维数组进行传入；
  • max_depth就是这个决策树的深度，层数而已，详细的设置我们介绍优化的时候会进行说明；
  • random_state就是保证这个过程的随机状态，没有其他的意义，这个1可以是其他的任何数字；
  • fit函数的两个参数就是x,y变量进行模子的练习；
  • predict函数的参数就是对应的自变量和因变量，并对于这个结果进行预测；
  1. import pandas as pd
  2. df = pd.read_csv("/Users/sample/员工离职数据样本.csv")
  4. # 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
  5. from sklearn.tree import DecisionTreeClassifier
  7. # 以二维结构读取"工资(k)","满意度"这两列，作为自变量x
  8. x = df[["工资(k)","满意度"]]
  9. # 以二维结构读取"离职"列，作为因变量y
  10. y = df[["离职"]]
  12. # TODO 使用DecisionTreeClassifier()初始化模型
  13. # 并设置参数max_depth=2,random_state=1，赋值给model
  14. model = DecisionTreeClassifier(max_depth=2,random_state=1)
  15. # TODO 使用fit()函数训练模型
  16. model.fit(x, y)
  18. # TODO 使用predict()函数，传入参数[[9,6]]进行预测，并赋值给y_pre
  19. y_pre = model.predict([[9, 6]])
  20. # TODO 输出y_pre
  21. print(y_pre)
复制代码
5.模子的搭建

   

  • 和上面的这个相比力，我们的这个板块的这个信息量会更大，需要涉及到一些这个数值转换的函数的使用和这个分类正确率的函数的说明；
  • 首先就是这个replace函数，进行这个数值转换；
  • x,y分别代表这个模子里面的自变量和因变量；
  • 接着就是划分测试集和练习集，构建模子初始化而且进行练习；
  • 现实上这个输出的结果是一个10*2的矩阵，每一行的两个数据，一个表示不离职，一个表示离职，我们使用索引筛选出来第二列的离职的概率的数据；0表示的就是第一列数据，1表示的就是第二列数据
  1. import pandas as pd
  2. df = pd.read_csv("/Users/e_information/员工信息表.csv")
  4. # 使用replace()将"工资"列的低"，"中"，"高"替换为0，1，2
  5. df["工资"] = df["工资"].replace({'低': 0, '中': 1, '高': 2})
  6. # 使用drop()函数删除"离职"列，剩余的数据作为自变量x
  7. x = df.drop(columns="离职")
  8. # 将"离职"列，作为因变量y
  9. y = df["离职"]
  11. # 导入sklearn.model_selection模块中的train_test_split函数
  12. from sklearn.model_selection import train_test_split
  13. # 使用train_test_split()函数划分训练集和测试集
  14. x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=123)
  16. # 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
  17. from sklearn.tree import DecisionTreeClassifier
  18. # 使用DecisionTreeClassifier()初始化模型
  19. # 并设置参数max_depth=3,random_state=123，赋值给model
  20. model = DecisionTreeClassifier(max_depth=3,random_state=123)
  21. # 使用fit()函数训练模型
  22. model.fit(x_train, y_train)
  24. # 将x_test传入使用predict_proba()函数预测，将结果赋值给y_pred_proba
  25. y_pred_proba = model.predict_proba(x_test)
  26. # TODO 输出y_pred_proba的第2列数据
  27. print(y_pred_proba[:,1])
复制代码
6.模子的改进和评价

我们的这个分类决策树进行预测的结果不一定完全吻合现实，这个时候就需要计算对应的命中率（我们乐成预测）和误判率（我们的预测错误）的大小


ROC曲线

这个曲线是是命中率为y坐标，误判率为x坐标进行这个绘制的图像；
这个就是在原来的底子上面，进行这个命中率和误判率和阈值(阈值的作用：预测离职概率大于等于阈值，才能被判定为离职)的计算;
最后几行进行这个函数图像的绘制，使用plot函数作图；
  1. import pandas as pd
  2. df = pd.read_csv("/Users/e_information/员工信息表.csv")
  4. # 使用replace()将"工资"列的低"，"中"，"高"替换为0，1，2
  5. df["工资"] = df["工资"].replace({'低': 0, '中': 1, '高': 2})
  6. # 使用drop()函数删除"离职"列，剩余的数据作为自变量x
  7. x = df.drop(columns="离职")
  9. # 以二维结构读取"离职"列，作为因变量y
  10. y = df[["离职"]]
  12. # 导入sklearn.model_selection模块中的train_test_split函数
  13. from sklearn.model_selection import train_test_split
  14. # 使用train_test_split()函数划分训练集和测试集
  15. x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=123)
  17. # 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
  18. from sklearn.tree import DecisionTreeClassifier
  19. # 使用DecisionTreeClassifier()初始化模型
  20. # 并设置参数max_depth=3,random_state=123，赋值给model
  21. model = DecisionTreeClassifier(max_depth=3,random_state=123)
  22. # 使用fit()函数训练模型
  23. model.fit(x_train, y_train)
  25. # 将x_test传入使用predict_proba()函数预测，将结果赋值给y_pred_proba
  26. y_pred_proba = model.predict_proba(x_test)
  28. # 导入sklearn.metrics模块中的roc_curve函数
  29. from sklearn.metrics import roc_curve
  31. # 将y_test和预测的离职概率传入roc_curve()，将结果依次赋值给fpr, tpr, thres
  32. fpr, tpr, thres = roc_curve(y_test, y_pred_proba[:,1])
  34. # 输出fpr, tpr, thres
  35. print(fpr)
  36. print(tpr)
  37. print(thres)
  40. # 导入matplotlib.pyplot，并使用"plt"作为该模块的简写
  41. import matplotlib.pyplot as plt
  43. # 使用plt.plot()函数，传入fpr为x轴的值，tpr为y轴的值，绘制折线图
  44. plt.plot(fpr, tpr)
  46. # 设置标题为ROC
  47. plt.title('ROC')
  49. # 设置x轴名称FPR
  50. plt.xlabel('FPR')
  52. # 设置y轴名称TPR
  53. plt.ylabel('TPR')
  55. # 使用plt.show()函数显示图像
  56. plt.show()
复制代码

下面这个就是去调用库里面的函数计算AUC数值衡量模子的优劣；
  1. # 导入sklearn.metrics模块中的roc_auc_score函数
  2. from sklearn.metrics import roc_auc_score
  4. # 将y_test和预测的离职概率传入roc_auc_score()，将结果赋值给auc_score
  5. auc_score = roc_auc_score(y_test, y_pred_proba[:,1])
  7. # 输出auc_score
  8. print(auc_score)
复制代码
参数调优

就是我们使用这个默认的参数值，都可以得到想上面的这个一样比力好的预测结果（上面的这个预测结果的AUC值是0。9左右，是很好的模子），但是我们可以改变这个默认的参数，进一步去验证我们的模子的优劣性在，这个就是参数调优；
下面我们使用的是K折交叉验证进行调优；


代码的说明：
   

  • cv=5表示进行五次交叉验证，model就是我们建立的模子，第二个和第三个参数就是我们的练习集，这个序次不告急（第二个参数和第三个参数的序次可以换）
  • 我们打印的是每一次交叉验证的结果；
  • 最后使用mean函数求得这几个验证结果的平均值；
  1. import pandas as pd
  2. df = pd.read_csv("/Users/e_information/员工信息表.csv")
  4. # 使用replace()将"工资"列的低"，"中"，"高"替换为0，1，2
  5. df["工资"] = df["工资"].replace({'低': 0, '中': 1, '高': 2})
  6. # 使用drop()函数删除"离职"列，剩余的数据作为自变量x
  7. x = df.drop(columns="离职")
  9. # 以二维结构读取"离职"列，作为因变量y
  10. y = df[["离职"]]
  12. # 导入sklearn.model_selection模块中的train_test_split函数
  13. from sklearn.model_selection import train_test_split
  14. # 使用train_test_split()函数划分训练集和测试集
  15. x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=123)
  17. # 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
  18. from sklearn.tree import DecisionTreeClassifier
  19. # 使用DecisionTreeClassifier()初始化模型
  20. # 并设置参数max_depth=3,random_state=123，赋值给model
  21. model = DecisionTreeClassifier(max_depth=3,random_state=123)
  23. # 导入sklearn.model_selection模块中的交叉验证的函数cross_val_score
  24. from sklearn.model_selection import cross_val_score
  26. # 使用cross_val_score()函数进行交叉验证，将结果赋值给auc_score
  27. auc_score = cross_val_score(model, x_train, y_train, scoring = 'roc_auc',cv=5)
  29. # 输出auc_score及其平均值
  30. print(auc_score)
  31. print(auc_score.mean())
复制代码
 GridSearch网格搜刮

K折交叉验证，一方面能帮助我们更正确的评估模子；
另一方面，它常常和GridSearch网格搜刮共同使用，来对模子进行参数调优。
接下来，我们一起来学习GridSearch网格搜刮。
代码说明：
   

  • 1,3,5,7,9就是我们选定的，可以进行这个选择的数值，从这几个里面去选最优值（深度）；
  • fit就是进行这个数据聚集的练习；
  • best_params_属性就是得到这个练习结果的最优值；
  1. import pandas as pd
  2. df = pd.read_csv("/Users/e_information/员工信息表.csv")
  4. # 使用replace()将"工资"列的低"，"中"，"高"替换为0，1，2
  5. df["工资"] = df["工资"].replace({'低': 0, '中': 1, '高': 2})
  6. # 使用drop()函数删除"离职"列，剩余的数据作为自变量x
  7. x = df.drop(columns="离职")
  9. # 以二维结构读取"离职"列，作为因变量y
  10. y = df[["离职"]]
  12. # 导入sklearn.model_selection模块中的train_test_split函数
  13. from sklearn.model_selection import train_test_split
  14. # 使用train_test_split()函数划分训练集和测试集
  15. x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=123)
  17. # 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
  18. from sklearn.tree import DecisionTreeClassifier
  19. # 使用DecisionTreeClassifier()初始化模型
  20. model = DecisionTreeClassifier()
  22. # 导入sklearn.model_selection模块中的GridSearchCV
  23. from sklearn.model_selection import GridSearchCV
  25. # 指定待调优参数max_depth的候选值范围，赋值给parameters
  26. parameters = {'max_depth': [1 ,3, 5, 7, 9]}
  28. # 使用GridSearchCV()函数进行参数调优，将结果赋值给grid_search
  29. grid_search = GridSearchCV(model, parameters, scoring='roc_auc', cv=5)
  31. # 传入训练集进行训练
  32. grid_search.fit(x_train, y_train)
  34. # 获取参数的最优值，并赋值给best_params
  35. best_params = grid_search.best_params_
  37. # 输出参数的最优值
  38. print(best_params)
复制代码
使用搜刮结果重新建模

我们上面的遍历已经搜刮出来这个最好的深度depth就是7，但是我们之前使用的是3，因此我们调解这个参数重新建模，我们只需要把上面这个过程的depth进行修改即可；
另外，我们可以使用循环依次计算不同深度的AUC数值，选择出来最好的也是可以的；下面这个代码就是分别带入这个树的深度1,3,5,7,9得到这个最优的AUC对应的这个depth=7,和我们上面搜刮的结果是一样的，验证了模子的正确性；
  1. import pandas as pd
  2. df = pd.read_csv("/Users/e_information/员工信息表.csv")
  4. # 使用replace()将"工资"列的低"，"中"，"高"替换为0，1，2
  5. df["工资"] = df["工资"].replace({'低': 0, '中': 1, '高': 2})
  6. # 使用drop()函数删除"离职"列，剩余的数据作为自变量x
  7. x = df.drop(columns="离职")
  9. # 以二维结构读取"离职"列，作为因变量y
  10. y = df[["离职"]]
  12. # 导入sklearn.model_selection模块中的train_test_split函数
  13. from sklearn.model_selection import train_test_split
  14. # 使用train_test_split()函数划分训练集和测试集
  15. x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=123)
  17. # 导入sklearn.tree模块中的分类决策树模型DecisionTreeClassifier
  18. from sklearn.tree import DecisionTreeClassifier
  19. # for循环遍历列表[1,3,5,7,9]
  20. for i in [1,3,5,7,9]:
  21.    
  22.     # 使用DecisionTreeClassifier()初始化模型
  23.     # 并设置参数max_depth=i,random_state=123，赋值给model
  24.     model = DecisionTreeClassifier(max_depth=i,random_state=123)
  25.    
  26.     # 使用fit()函数训练模型
  27.     model.fit(x_train, y_train)
  29.     # 将x_test传入使用predict_proba()函数预测，将结果赋值给y_pred_proba
  30.     y_pred_proba = model.predict_proba(x_test)
  32.     # 导入sklearn.metrics模块中的roc_auc_score函数
  33.     from sklearn.metrics import roc_auc_score
  34.     # 将y_test和预测的离职概率传入roc_curve()，将结果赋值给auc_score
  35.     auc_score = roc_auc_score(y_test, y_pred_proba[:,1])
  36.     # 格式化输出"max_depth={i}时，AUC值为{auc_score.round(4)}"
  37.     print(f"max_depth={i}时，AUC值为{auc_score.round(4)}")
复制代码


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
继续阅读请点击广告
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

莱莱

论坛元老
这个人很懒什么都没写!

楼主热帖

标签云

渠道 国产数据库 集成商 AI 运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表