【机器学习】K-means聚类分析

前言

聚类问题是无监督学习的问题，算法思想就是物以类聚，人以群分，聚类算法感知样本间的相似度，进行类别归纳，对新输入进行输出预测，输出变量取有限个离散值。本次我们使用两种方法对鸢尾花数据进行聚类。

• 无监督就是没有标签的进行分类
  

K-means 聚类算法

K-means聚类算法（k-均值或k-平均）聚类算法。算法思想就是首先随机确定k个中心点作为聚类中心，然后把每个数据点分配给最邻近的中心点，分配完成后形成k个聚类，计算各个聚类的平均中心点，将其作为该聚类新的类中心点，然后迭代上述步骤知道分配过程不在产生变化。
算法流程

• 随机选择K个随机点（成为聚类中心）
  
• 对数据集中的每个数据点，按照距离K个中心点的距离，将其与距离最近的中心点关联起来，与同一中心点关联的所有点聚成一类
  
• 计算每一组的均值，将改组所关联的中心点移动到平均值位置
  
• 重复上两步，直至中心点不再发生变化
  

优缺点

优点：

• 原理比较简单，实现容易，收敛速度快
  
• 聚类效果比较优
  
• 算法可解释度比较强
  
• 主要需要调参的参数仅仅是簇数K
  

缺点：

• K值选取不好把握
  
• 不平衡数据集聚类效果不佳
  
• 采用迭代方法，得到结果只是局部最优
  
• 对噪音和异常点比较敏感
  

鸢尾花聚类

数据集

数据集：数据集采用sklern中的数据集
数据集分布图：我们可以看出数据的大致分布情况

使用sklearn中的模型

1. # 鸢尾花数据集 150 条数据
3. ## 导包
4. import numpy as np
5. import matplotlib.pyplot as plt
7. # 导入数据集包
8. from sklearn import datasets
10. from sklearn.cluster import KMeans
12. ## 加载数据据集
13. iris = datasets.load_iris()
15. X = iris.data[:,:4]
16. print(X.shape)  # 150*4
18. ## 绘制二维数据分布图
19. ## 前两个特征
21. plt.scatter(X[:,0],X[:,1],c='red',marker='o',label='see')
22. plt.xlabel('sepal length')
23. plt.ylabel('sepal width')
24. plt.legend(loc=2)
25. plt.show()
27. '''
28. 直接调用包
29. '''
31. ## 实例化K-means类，并定义训练函数
32. def Model(n_clusters):
33.     estimator = KMeans(n_clusters=n_clusters)
34.     return estimator
35. ## 定义训练韩硕
36. def train(estimator):
37.     estimator.fit(X)
40. ## 训练
41. estimator = Model(3)
43. ## 开启训练拟合
44. train(estimator=estimator)
47. ## 可视化展示
49. label_pred = estimator.labels_ # 获取聚类标签
51. ## 找到3中聚类结构
52. x0 = X[label_pred==0]
53. x1 = X[label_pred==1]
54. x2 = X[label_pred==2]
56. plt.scatter(x0[:,0],x0[:,1],c='red',marker='o',label='label0')
57. plt.scatter(x1[:,0],x1[:,1],c='green',marker='*',label='label1')
58. plt.scatter(x2[:,0],x2[:,1],c='blue',marker='+',label='label2')
60. plt.xlabel('sepal length')
61. plt.ylabel('sepal width')
62. plt.legend(loc=2)
63. plt.show()

复制代码

聚类结果

我们可以看出聚类结果按照我们的要求分为了三类，分别使用红、蓝、绿三种颜色进行了展示！
聚类效果图：

手写K-means算法

[code]# 鸢尾花数据集 150 条数据## 导包import numpy as npimport matplotlib.pyplot as plt# 导入数据集包from sklearn import datasetsfrom sklearn.cluster import KMeans## 加载数据据集iris = datasets.load_iris()X = iris.data[:,:4]print(X.shape)  # 150*4## 绘制二维数据分布图## 前两个特征plt.scatter(X[:,0],X[:,1],c='red',marker='o',label='see')plt.xlabel('sepal length')plt.ylabel('sepal width')plt.legend(loc=2)plt.show()'''直接手写实现''''''1、随机初始化 随机寻找k个簇的中心2、对这k个中心进行聚类3、重复1、2，知道中心达到稳定'''### 欧氏距离计算def distEclud(x,y):    return np.sqrt(np.sum((x-y)**2))### 为数据集定义簇的中心def randCent(dataSet,k):    m,n = dataSet.shape    centroids = np.zeros((k,n))    for i in range(k):        index = int(np.random.uniform(0,m))        centroids[i,:] = dataSet[index,:]    return centroids## k均值聚类算法def KMeans(dataSet,k):    m = np.shape(dataSet)[0]    clusterAssment = np.mat(np.zeros((m,2)))    clusterChange = True    ## 1 初始化质心centroids    centroids = randCent(dataSet,k)    while clusterChange:        # 样本所属簇不在更新时停止迭代        clusterChange = False        # 遍历所有样本        for i in range(m):            minDist = 100000.0            minIndex = -1            # 遍历所有质心            # 2 找出最近质心            for j in range(k):                distance = distEclud(centroids[j,:],dataSet[i,:])                if distance