机器学习-线性回顾

线性回归

1. 简介

1. """
2. 简介:
3.         定义:
4.                 利用回归方程对一个或多个自变量(特征值)和因变量(目标值)之间关系 进行建模的一种分析方式
5.         公式:
6.                 见下图
7.         分类:
8.                 一元线性回归:
9.                         目标值与一个因变量有关系
10.                 多远线性回归:
11.                         目标值与多个因变量有关系
12. """

复制代码

线性回归公式. 见下图

2. 线性回归问题求解

1. """
2. 线性回归API:
3.         from sklearn.linear_model import LinearRegression
5. 损失函数:
6.         误差概念:
7.                 用预测值y-真实值y = 误差
8.         衡量每个样本预测值与真实值效果的函数
9.                 代价函数, 成本函数, 目标函数
10.         种类:
11.                 均方误差 MSE
12.                 平均绝对误差 MAE
13.                 均方根误差 RMSE
14. 正规方程法:
15.         线性回归最小而成损失函数
16.                 J(w)= ||Xw−y||₂² 取值最小
17. """
18. # 1.导入依赖包
19. # from sklearn.datasets import load_boston # 数据集已废弃
20. from sklearn.preprocessing import StandardScaler  # 特征处理
21. from sklearn.model_selection import train_test_split  # 数据集划分
22. from sklearn.linear_model import LinearRegression  # 正规方程的回归模型
23. from sklearn.linear_model import SGDRegressor  # 梯度下降的回归模型
24. from sklearn.metrics import mean_squared_error  # 均方误差评估
25. from sklearn.linear_model import Ridge, RidgeCV
26. import matplotlib.pyplot as plt
27. import pandas as pd
28. import numpy as np
30. import warnings
31. warnings.filterwarnings('ignore')
33. # 正规方程法
34. def linearRegr():
35.     """
36.     正规方程法
37.     :return:
38.     """
39.     # 2.数据预处理
40.     # 2.1 获取数据
41.     data_url = "http://lib.stat.cmu.edu/datasets/boston"
42.     raw_df = pd.read_csv(data_url, sep="\s+", skiprows=22, header=None)
43.     data = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
44.     target = raw_df.values[1::2, 2]
45.     # 2.2 数据集划分
46.     x_train, x_test, y_train, y_test = train_test_split(data, target, random_state=22)
47.     # 2.3 特征工程-标准化
48.     transfer = StandardScaler()
49.     x_train = transfer.fit_transform(x_train)
50.     x_test = transfer.transform(x_test)
51.     # 3.模型训练，机器学习-线性回归
52.     # 3.1 实例化模型(正规方程)
53.     estimator = LinearRegression()
54.     # 3.2 模型训练
55.     estimator.fit(x_train, y_train)
56.     # 4.模型预测
57.     y_predict = estimator.predict(x_test)
58.     print("预测值为:", y_predict)
59.     print("模型的权重系数为:", estimator.coef_)
60.     # 5.模型评估，均方误差
61.     error = mean_squared_error(y_test, y_predict)
62.     print("误差为:", error)

复制代码

1. """
2. 梯度下降法:
3.         梯度:
4.                 单变量函数中:
5.                         梯度就是某一点的切线的斜率
6.                         梯度的方向为函数增长最快的方向
7.                 多变量函数中:
8.                         梯度就是某一个点的偏导数
9.                         有方向: 偏导数分量的向量方向
10.         沿着梯度下降的方向求解极小值
11.         公式:
12.                 见下图
13.                 α: 学习率(步长)不能太大,也不能太小. 机器学习中：0.001~0.01
14.                 梯度是上升最快的方向, 我们需要是下降最快的方向, 所以需要加负号
15.        
16.         梯度下降优化过程:
17.                 1. 给定初始位置 步长(学习率)
18.                 2. 计算该点当前的梯度的负方向
19.                 3. 向该负方向移动步长
20.                         步长决定了在梯度下降迭代过程中, 每一步沿梯度负方向前进的长度
21.                         学习率太小,下降的速度会慢
22.                         学习率太大, 容易造成错过最低点, 产生下降过程中的震荡,甚至梯度爆炸
23.                 4. 重复 2-3 步直至收敛
24.                         两次差距小于指定的阈值
25.                         达到指定的迭代次数
26.         梯度下降法分类:
27.                 全体度下降算法 FGD
28.                         每次迭代时, 使用全部样本的梯度值
29.                                 特点: 训练速度较慢
30.                 随机梯度下降算法 SGD
31.                         每次迭代时, 随机选择并使用一个样本梯度值
32.                                 特点: 简单，高效，不稳定
33.                 小批量梯度下降算法 mini-batch
34.                         每次迭代时, 随机选择并使用小批量的样本梯度值
35.                                 特点: 表现也正好居于SG 和FG 二者之间
36.                 随机平均梯度下降算法 SAG
37.                         每次迭代时, 随机选择一个样本的梯度值和以往样本的梯度值的均值
38.                                 特点: 训练初期表现不佳，优化速度较慢       
39. """
40. from sklearn.preprocessing import StandardScaler  # 特征处理
41. from sklearn.model_selection import train_test_split  # 数据集划分
42. from sklearn.linear_model import LinearRegression  # 正规方程的回归模型
43. from sklearn.linear_model import SGDRegressor  # 梯度下降的回归模型
44. from sklearn.metrics import mean_squared_error  # 均方误差评估
45. from sklearn.linear_model import Ridge, RidgeCV
46. import matplotlib.pyplot as plt
47. import pandas as pd
48. import numpy as np
50. # 梯度下降法
51. def SGDRegr():
52.     """
53.     梯度下降法
54.     :return:
55.     """
56.     # 2.数据预处理
57.     # 2.1 获取数据
58.     data_url = "http://lib.stat.cmu.edu/datasets/boston"
59.     raw_df = pd.read_csv(data_url, sep="\s+", skiprows=22, header=None)
60.     data = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
61.     target = raw_df.values[1::2, 2]
62.     # 2.2 数据集划分
63.     x_train, x_test, y_train, y_test = train_test_split(data, target, random_state=22)
64.     # 2.3 特征工程-标准化
65.     transfer = StandardScaler()
66.     x_train = transfer.fit_transform(x_train)
67.     x_test = transfer.transform(x_test)
68.     # 3.模型训练，机器学习-线性回归
69.     # 3.1 实例化模型(梯度下降法)
70.     estimator = SGDRegressor()
71.     # estimator = SGDRegressor(max_iter=1000, learning_rate="constant", eta0=0.001)
72.     # 3.2 模型训练
73.     estimator.fit(x_train, y_train)
74.     # 4.模型预测
75.     y_predict = estimator.predict(x_test)
76.     print("预测值为:", y_predict)
77.     print("模型的权重系数为:", estimator.coef_)
78.     print("模型的偏置为:", estimator.intercept_)
79.     # 5.模型评估, 均方误差
80.     error = mean_squared_error(y_test, y_predict)
81.     print("误差为:", error)

复制代码

梯度下降法, 公式见下图

3. 欠拟合与过拟合

1. """
2. 欠拟合与过拟合
3.         欠拟合:
4.                 模型在训练集上表现不好，在测试集上也表现不好。模型过于简单
5.                 出现原因
6.                         学习到数据的特征过少
7.                 解决方法
8.                         添加其他特征
9.                         添加多项式特征项
10.         过拟合:
11.                 模型在训练集上表现好，在测试集上表现不好。模型过于复杂
12.                 出现原因
13.                         原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾各个测试数据点
14.                 解决方法
15.                         重新清洗数据
16.                         增大数据的训练量
17.                         正则化
18.                         减少特征维度，防止维灾难
19. """
20. def underFitting():
21.     """
22.     欠拟合
23.     :return:
24.     """
25.     # 2.准备数据x y(增加上噪声)
26.     np.random.seed(666)
27.     x = np.random.uniform(-3, 3, size=100)
28.     y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)
29.     # 3 训练模型
30.     # 3.1 实例化线性回归模型
31.     estimator = LinearRegression()
32.     # 3.2 模型训练
33.     X = x.reshape(-1, 1)
34.     estimator.fit(X, y)
35.     # 4 模型预测
36.     y_predict = estimator.predict(X)
37.     # 5 模型评估，计算均方误差
38.     # 5.1 模型评估MSE
39.     myret = mean_squared_error(y, y_predict)
40.     print('myret-->', myret)
41.     # 5.2 展示效果
42.     plt.scatter(x, y)
43.     plt.plot(x, y_predict, color='r')
44.     plt.show()
47. def fitting():
48.     """
49.     拟合
50.     :return:
51.     """
52.     # 2.准备数据x y(增加上噪声)
53.     np.random.seed(666)
54.     x = np.random.uniform(-3, 3, size=100)
55.     y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)
56.     # 3.模型训练
57.     # 3.1 实例化线性回归模型
58.     estimator = LinearRegression()
59.     # 3.2 模型训练
60.     X = x.reshape(-1, 1)
61.     # print(‘X.shape-->’, X.shape)
62.     X2 = np.hstack([X, X ** 2])  # 数据增加二次项
63.     estimator.fit(X2, y)
64.     # 4.模型预测
65.     y_predict = estimator.predict(X2)
66.     # 5.模型评估，计算均方误差
67.     myret = mean_squared_error(y, y_predict)
68.     print('myret-->', myret)
69.     # 6 展示效果
70.     plt.scatter(x, y)
71.     # 画图plot折线图时 需要对x进行排序, 取x排序后对应的y值
72.     plt.plot(np.sort(x), y_predict[np.argsort(x)], color='r')
73.     plt.show()
76. def overFitting():
77.     """
78.     过拟合
79.     :return:
80.     """
81.     # 2.准备数据x y(增加上噪声)
82.     np.random.seed(666)
83.     x = np.random.uniform(-3, 3, size=100)
84.     y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)
85.     # 3 训练模型
86.     # 3.1 实例化线性回归模型
87.     estimator = LinearRegression()
88.     # 3.2 模型训练
89.     X = x.reshape(-1, 1)
90.     # print(‘X.shape-->’, X.shape)
91.     X3 = np.hstack([X, X ** 2, X ** 3, X ** 4, X ** 5, X ** 6, X ** 7, X ** 8, X ** 9, X ** 10])  # 数据增加高次项
92.     estimator.fit(X3, y)
93.     # 4.模型预测
94.     y_predict = estimator.predict(X3)
95.     # 5.模型评估，计算均方误差
96.     # 5.1 模型评估MSE
97.     myret = mean_squared_error(y, y_predict)
98.     print('myret-->', myret)
99.     # 5.2 展示效果
100.     plt.scatter(x, y)
101.     # 画图时输入的x数据: 要求是从小到大
102.     plt.plot(np.sort(x), y_predict[np.argsort(x)], color='r')
103.     plt.show()

复制代码

1. """
2. 正则化:
3.                 在模型训练时，数据中有些特征影响模型复杂度、或者某个特征的异常值较多，所以要尽量减少这个特征的影响（甚至删除某个特征的影响）
4.                 L1正则化
5.                         α 叫做惩罚系数，该值越大则权重调整的幅度就越大，即：表示对特征权重惩罚力度就越大
6.                         L1 正则化会使得权重趋向于 0，甚至等于 0，使得某些特征失效，达到特征筛选的目的
7.                         from sklearn.linear_model import Lasso
8.                 L2正则化
9.                         α 叫做惩罚系数，该值越大则权重调整的幅度就越大，即：表示对特征权重惩罚力度就越大
10.                         L2 正则化会使得权重趋向于 0，一般不等于 0
11.                         from sklearn.linear_model import Ridge
12. """
14. # 1.导入依赖包
15. from sklearn.linear_model import Lasso
16. from sklearn.preprocessing import StandardScaler  # 特征处理
17. from sklearn.model_selection import train_test_split  # 数据集划分
18. from sklearn.linear_model import LinearRegression  # 正规方程的回归模型
19. from sklearn.linear_model import SGDRegressor  # 梯度下降的回归模型
20. from sklearn.metrics import mean_squared_error  # 均方误差评估
21. from sklearn.linear_model import Ridge, RidgeCV
22. import matplotlib.pyplot as plt
23. import pandas as pd
24. import numpy as np
26. def L1Regular():
27.     """
28.     L1 正则化
29.     :return:
30.     """
31.     # 2.准备数据x y(增加上噪声)
32.     np.random.seed(666)
33.     x = np.random.uniform(-3, 3, size=100)
34.     y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)
35.     # 3 训练模型
36.     # 3.1 实例化L1正则化模型 做实验:alpha惩罚力度越来越大,k值越来越小,返回会欠拟合
37.     estimator = Lasso(alpha=0.1)
38.     # 3.2 模型训练
39.     X = x.reshape(-1, 1)
40.     X3 = np.hstack([X, X ** 2, X ** 3, X ** 4, X ** 5, X ** 6, X ** 7, X ** 8, X ** 9, X ** 10])  # 数据增加二次项
41.     estimator.fit(X3, y)
42.     print('estimator.coef_', estimator.coef_)
43.     # 4.模型预测
44.     y_predict = estimator.predict(X3)
45.     # 5.模型评估，计算均方误差
46.     # 5.1 模型评估MSE
47.     myret = mean_squared_error(y, y_predict)
48.     print('myret-->', myret)
49.     # 5.2 展示效果
50.     plt.scatter(x, y)
51.     # 画图时输入的x数据: 要求是从小到大
52.     plt.plot(np.sort(x), y_predict[np.argsort(x)], color='r')
53.     plt.show()
56. # 1.导入依赖包
57. from sklearn.linear_model import Ridge
60. def L2Regular():
61.     """
62.     L2 正则化
63.     :return:
64.     """
65.     # 2.准备数据x y(增加上噪声)
66.     np.random.seed(666)
67.     x = np.random.uniform(-3, 3, size=100)
68.     y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)
69.     # 3.训练模型
70.     # 3.1 实例化L2正则化模型
71.     estimator = Ridge(alpha=0.1)
72.     # 3.2 模型训练
73.     X = x.reshape(-1, 1)
74.     X3 = np.hstack([X, X ** 2, X ** 3, X ** 4, X ** 5, X ** 6, X ** 7, X ** 8, X ** 9, X ** 10])  # 数据增加二次项
75.     estimator.fit(X3, y)
76.     print('estimator.coef_', estimator.coef_)
77.     # 4.模型预测
78.     y_predict = estimator.predict(X3)
79.     # 5.模型评估，计算均方误差
80.     # 5.1 模型评估，MSE
81.     myret = mean_squared_error(y, y_predict)
82.     print('myret-->', myret)
83.     # 5.2 展示效果
84.     plt.scatter(x, y)
85.     # 画图时输入的x数据: 要求是从小到大
86.     plt.plot(np.sort(x), y_predict[np.argsort(x)], color='r')
87.     plt.show()

复制代码

L1正则化, 公式为

L2正则化, 公式为

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。