头歌平台Spark分类分析小节测试（8.2小节测试）

第1关：第一题

打开右侧代码文件窗口，在 Begin 至 End 地区增补代码，完成使命。
读取文件 /data/bigfiles/iris.txt 中的内容，使用二项逻辑斯蒂回归举行二分类分析，过滤 Iris-setosa 类。通过 randomSplit 方法将其中的 70% 数据作为练习集，剩下的作为测试集举行推测，最终输出推测的正确率，输出示比方下：
   

• Accuracy：0.912
  

  实现代码如下： 

1. import org.apache.spark.sql.SparkSession
2. import org.apache.spark.sql.types.{StructType, StructField, StringType, DoubleType}
3. import org.apache.spark.ml.feature.{StringIndexer, VectorAssembler}
4. import org.apache.spark.ml.classification.LogisticRegression
5. import org.apache.spark.ml.evaluation.{BinaryClassificationEvaluator, MulticlassClassificationEvaluator}
7. object First_Question {
9.   def main(args: Array[String]): Unit = {
11.     /******************* Begin *******************/
13.     // 创建SparkSession
14.     val spark = SparkSession.builder()
15.       .appName("Iris Binary Classification")
16.       .getOrCreate()
18.     // 定义schema
19.     val schema = new StructType(Array(
20.       StructField("SepalLength", DoubleType, true),
21.       StructField("SepalWidth", DoubleType, true),
22.       StructField("PetalLength", DoubleType, true),
23.       StructField("PetalWidth", DoubleType, true),
24.       StructField("Species", StringType, true)
25.     ))
27.     // 读取文件并应用schema
28.     val data = spark.read
29.       .option("inferSchema", "false")
30.       .option("header", "false")
31.       .schema(schema)
32.       .csv("/data/bigfiles/iris.txt")
34.     // 过滤掉Iris-setosa类
35.     val filteredData = data.filter("Species != 'Iris-setosa'")
37.     // 将label列转换为数值类型
38.     val indexer = new StringIndexer()
39.       .setInputCol("Species")
40.       .setOutputCol("label")
41.     val indexedData = indexer.fit(filteredData).transform(filteredData)
43.     // 将特征列组合为一个向量列
44.     val assembler = new VectorAssembler()
45.       .setInputCols(Array("SepalLength", "SepalWidth", "PetalLength", "PetalWidth"))
46.       .setOutputCol("features")
47.     val featureData = assembler.transform(indexedData)
49.     // 划分数据集为训练集和测试集
50.     val Array(trainingData, testData) = featureData.randomSplit(Array(0.7, 0.3), seed = 1234L)
52.     // 创建逻辑斯蒂回归模型
53.     val lr = new LogisticRegression()
55.     // 在训练集上拟合模型
56.     val model = lr.fit(trainingData)
58.     // 在测试集上进行预测
59.     val predictions = model.transform(testData)
61.     // 使用二分类评估器评估模型
62.     val binaryEvaluator = new BinaryClassificationEvaluator()
63.       .setLabelCol("label")
64.       .setRawPredictionCol("rawPrediction")
65.       .setMetricName("areaUnderROC")
66.     val auc = binaryEvaluator.evaluate(predictions)
68.     // 使用多分类评估器评估准确率
69.     val multiEvaluator = new MulticlassClassificationEvaluator()
70.       .setLabelCol("label")
71.       .setPredictionCol("prediction")
72.       .setMetricName("accuracy")
73.     val accuracy = multiEvaluator.evaluate(predictions)
75.     // 输出结果
76.     println(s"Area under ROC: $auc")
77.     println(s"Accuracy: $accuracy")
79.     // 释放资源
80.     spark.stop()
82.     /******************* End *******************/
83.   }
84. }

复制代码

 第2关：第二题

打开右侧代码文件窗口，在 Begin 至 End 地区增补代码，完成使命。
读取文件 /data/bigfiles/iris.txt 中的内容，使用决策树模子举行分析，通过 randomSplit 方法将其中的 70% 数据作为练习集，剩下的作为测试集举行推测，最终输出推测的正确率，输出示比方下：
   

• Accuracy：0.912
  

  实现代码如下： 

1. import org.apache.spark.sql.SparkSession
2. import org.apache.spark.sql.types.{StructType, StructField, StringType, DoubleType}
3. import org.apache.spark.ml.feature.{StringIndexer, VectorAssembler}
4. import org.apache.spark.ml.classification.{DecisionTreeClassifier}
5. import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator
7. object Second_Question {
9.   def main(args: Array[String]): Unit = {
11.     /******************* Begin *******************/
13.     // 创建SparkSession
14.     val spark = SparkSession.builder()
15.       .appName("Iris Decision Tree Classification")
16.       .getOrCreate()
18.     // 定义schema
19.     val schema = new StructType(Array(
20.       StructField("SepalLength", DoubleType, true),
21.       StructField("SepalWidth", DoubleType, true),
22.       StructField("PetalLength", DoubleType, true),
23.       StructField("PetalWidth", DoubleType, true),
24.       StructField("Species", StringType, true)
25.     ))
27.     // 读取文件并应用schema
28.     val data = spark.read
29.       .option("inferSchema", "false")
30.       .option("header", "false")
31.       .schema(schema)
32.       .csv("/data/bigfiles/iris.txt")
34.     // 将label列转换为数值类型
35.     val indexer = new StringIndexer()
36.       .setInputCol("Species")
37.       .setOutputCol("label")
38.     val indexedData = indexer.fit(data).transform(data)
40.     // 将特征列组合为一个向量列
41.     val assembler = new VectorAssembler()
42.       .setInputCols(Array("SepalLength", "SepalWidth", "PetalLength", "PetalWidth"))
43.       .setOutputCol("features")
44.     val featureData = assembler.transform(indexedData)
46.     // 划分数据集为训练集和测试集
47.     val Array(trainingData, testData) = featureData.randomSplit(Array(0.7, 0.3), seed = 1234L)
49.     // 创建决策树模型
50.     val dt = new DecisionTreeClassifier()
51.       .setLabelCol("label")
52.       .setFeaturesCol("features")
54.     // 在训练集上拟合模型
55.     val model = dt.fit(trainingData)
57.     // 在测试集上进行预测
58.     val predictions = model.transform(testData)
60.     // 使用多分类评估器评估准确率
61.     val evaluator = new MulticlassClassificationEvaluator()
62.       .setLabelCol("label")
63.       .setPredictionCol("prediction")
64.       .setMetricName("accuracy")
65.     val accuracy = evaluator.evaluate(predictions)
67.     // 输出准确率
68.     println(s"Accuracy: $accuracy")
70.     // 释放资源
71.     spark.stop()
73.     /******************* End *******************/
74.   }
75. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。