R语言实现SVM算法——分类与回归

1. ### 11.6        基于支持向量机进行类别预测 ###
2. # 构建数据子集
3. X <- iris[iris$Species!= 'virginica',2:3] # 自变量：Sepal.Width, Petal.Length
4. y <-  iris[iris$Species != 'virginica','Species'] # 因变量
5. plot(X,col = y,pch = as.numeric(y)+15,cex = 1.5) # 绘制散点图
6. # 构建支持向量机分类器
7. library(e1071)
8. svm.model <- svm(x = X,y = y,kernel = 'linear',degree = 1,scale = FALSE)
9. summary(svm.model)
10. svm.model$index # 查看支持向量的序号
11. svm.model$nSV   # 查看各类的支持向量个数
12. svm.model$SV    # 查看支持向量的自变量值
14. # 绘制SVM分类器的判别边界实线、支持向量及最大间隔分类
15. plot_svc_decision_boundary <- function(svm.model,X) {
16.   w = t(svm.model$coefs) %*% svm.model$SV
17.   b = -svm.model$rho
18.   margin = 1/w[2]
19.   abline(a = -b/w[1,2],b=-w[1,1]/w[1,2],col = "red",lwd=2)
20.   points(X[svm.model$index,],col="blue",cex=2.5,lwd = 2)
21.   abline(a = -b/w[1,2]+margin,b=-w[1,1]/w[1,2],col = "grey",lwd=2,lty=2)
22.   abline(a = -b/w[1,2]-margin,b=-w[1,1]/w[1,2],col = "grey",lwd=2,lty=2)
23. }
24. # 增加分割线的散点图
25. plot(X,col = y,pch = as.numeric(y)+15,cex = 1.5) # 绘制散点图
26. plot_svc_decision_boundary(svm.model,X) # 增加决策边界和标注支持向量
28. # SVM对特征缩放敏感
29. Xs <- data.frame(x1 = c(1,5,3,5),
30.                  x2 = c(50,20,80,60))
31. ys <- factor(c(0,0,1,1))
33. svm_clf <- svm(x = Xs,y = ys,cost=100,
34.                kernel = "linear",scale = FALSE)
35. Xs_scale <- apply(Xs,2,scale) # 标准化处理
36. svm_clf1 <- svm(x = Xs_scale,y = ys,cost=100,
37.                 kernel = "linear",scale = FALSE)
38. par(mfrow=c(1,2))
39. plot(Xs,col=ys,pch=as.numeric(ys)+15,cex=1.5,main='Unscaled')
40. plot_svc_decision_boundary(svm_clf,Xs)
41. plot(Xs_scale,col = ys,pch=as.numeric(ys)+15,cex=1.5,main="scaled")
42. plot_svc_decision_boundary(svm_clf1,Xs_scale)
43. par(mfrow=c(1,1))
45. # 将参数scale设置为TRUE
46. svm_clf2 <- svm(x = Xs,y = ys,cost=100,
47.                 kernel = "linear",scale = TRUE)
48. # 可以查看标准化的中心和标准差
49. svm_clf2$x.scale
50. # 查看手工标准化的均值和标准差
51. apply(Xs,2,function(x) {c('center' = mean(x,na.rm=TRUE),'scale' = sd(x,na.rm=TRUE))})
53. # 软间隔分类
54. X = iris[iris$Species!= 'virginica',1:2] # "Sepal.Length" "Sepal.Width"
55. y = iris[iris$Species != 'virginica','Species']
56. svm_smallC <- svm(x = X,y = y,cost = 1,
57.                   kernel = "linear",scale = FALSE)
58. svm_largeC <- svm(x = X,y = y,cost = 100,
59.                   kernel = "linear",scale = FALSE)
60. par(mfrow=c(1,2))
61. plot(X,col=y,pch=as.numeric(y)+15,main='small cost')
62. plot_svc_decision_boundary(svm_smallC,X)
63. plot(X,col=y,pch=as.numeric(y)+15,main='large cost')
64. plot_svc_decision_boundary(svm_largeC,X)
65. par(mfrow=c(1,1))
67. # 非线性支持向量机分类
68. # 导入数据集
69. moons <- read.csv('moons.csv')
70. # 查看数据结构
71. str(moons)
73. # 编写绘制决策边界函数
74. visualize_classifier <- function(model,X,y,xlim,ylim,title = NA){
75.   x1s <- seq(xlim[1],xlim[2],length.out=200)
76.   x2s <- seq(ylim[1],ylim[2],length.out=200)
77.   Z <- expand.grid(x1s,x2s)
78.   colnames(Z) <- colnames(X)
79.   y_pred <- predict(model,Z,type = 'class')
80.   y_pred <- matrix(y_pred,length(x1s))
81.   
82.   filled.contour(x1s,x2s,y_pred,
83.                  nlevels = 2,
84.                  col = RColorBrewer::brewer.pal(length(unique(y)),'Pastel1'),
85.                  key.axes = FALSE,
86.                  plot.axes = {axis(1);axis(2);
87.                    points(X[,1],X[,2],pch=as.numeric(y)+16,col=as.numeric(y)+2,cex=1.5)
88.                  },
89.                  xlab = colnames(X)[1],ylab = colnames(X)[2]
90.   )
91.   title(main = title)
92. }
94. xlim <- c(-1.5,2.5)
95. ylim <- c(-1,1.5)
97. # 构建线性支持向量机分类
98. svm_linear <- svm(x = moons[,1:2],y = factor(moons[,3]),
99.                 kernel = 'linear',degree = 1,cost = 10)
100. # 绘制决策边界
101. visualize_classifier(svm_linear,moons[,1:2],moons[,3],
102.                      xlim,ylim,title = '线性支持向量机分类')
104. # 构建非线支持向量机分类
105. svm_poly <- svm(x = moons[,1:2],y = factor(moons[,3]),
106.                 kernel = 'polynomial',degree = 3,cost = 5)
107. # 绘制决策边界
108. visualize_classifier(svm_poly,moons[,1:2],moons[,3],
109.                      xlim,ylim,title = '非线性支持向量机分类')
111. # 多项式核
112. svm_poly1 <- svm(x = moons[,1:2],y = factor(moons[,3]),
113.                 kernel = 'polynomial',degree = 3,cost = 5,coef0 = 1)
114. visualize_classifier(svm_poly1,moons[,1:2],moons[,3],
115.                      xlim,ylim,'多项式核')
117. # 增加相似性特征
118. svm_rbf <- svm(x = moons[,1:2],y = factor(moons[,3]),
119.                kernel='radial',gamma = 0.1, cost = 0.01)
120. svm_rbf1 <- svm(x = moons[,1:2],y = factor(moons[,3]),
121.                kernel='radial',gamma = 0.1, cost = 1000)
122. svm_rbf2 <- svm(x = moons[,1:2],y = factor(moons[,3]),
123.                 kernel='radial',gamma = 5, cost =1000)
124. visualize_classifier(svm_rbf,moons[,1:2],moons[,3],
125.                      xlim,ylim,'gamma = 0.1, cost = 0.01')
126. visualize_classifier(svm_rbf1,moons[,1:2],moons[,3],
127.                      xlim,ylim,'gamma = 0.1, cost = 1000')
128. visualize_classifier(svm_rbf2,moons[,1:2],moons[,3],
129.                      xlim,ylim,'gamma = 5, cost = 1000')
131. # 调整支持向量机
132. # 使用tune.svm函数调整支持向量机
133. moons$y <- as.factor(moons$y)
134. tuned <- tune.svm(y ~ .,data = moons,
135.                   gamma = 10^(-5:-1),cost = 10^(1:3))
136. summary(tuned) # 得到模型相关信息
138. # 利用最佳参数设置支持向量机
139. model.tuned <- svm(y ~ .,data = moons,
140.                    gamma = tuned$best.parameters$gamma,
141.                    cost = tuned$best.parameters$cost)
142. # 对训练集进行类别预测
143. pred <- predict(model.tuned,newdata = moons[,1:2])
144. #生成混淆矩阵，观察预测精度
145. table('actual' = moons$y,
146.       'prediction'= pred)

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。