SparkSQL练习：对学生选课成绩进行分析计算

标题内容：
对学生选课成绩进行分析计算

标题要求：
（1）该系总共有多少学生；
（2）该系共开设来多少门课程；
（3）每个学生的总成绩多少；
（4）每门课程选修的同砚人数；
（5）每位同砚选修的课程门数；
（6）该系DataBase课程共有多少人选修；
（7）每位同砚平均成绩；

数据预览：
每行数据包括以下三部分内容：学生姓名,所学课程,成绩
每项数据以“,”分隔开

代码实现：

1. def main(args: Array[String]): Unit = {
2.   val sparConf = new SparkConf().setMaster("local").setAppName("WordCount")
3.   val sc = new SparkContext(sparConf) //建立Spark连接
4.   val spark = SparkSession.builder().getOrCreate()
5.   val df = spark.read.option("header", "true").csv("E:\\ShuJu\\sparkinput\\batch_test_score\\Data01.csv") //读入文件
7.   df.show()
9.   println("（1）该系总共有多少学生")
10.   val StudentNum = df.groupBy("name").count().collect().length
11.   println(StudentNum)
13.   println("（2）该系共开设来多少门课程")
14.   val CourseNum = df.groupBy("course").count().collect().length
15.   println(CourseNum)
17.   println("（3）每个学生的总成绩多少")
18.   df.select("name", "grade").groupBy("name").agg(sum("grade")).show()
20.   println("（4）每门课程选修的同学人数")
21.   df.groupBy("course").count().show()
23.   println("（5）每位同学选修的课程门数")
24.   df.select("name", "course").groupBy("name").count().show()
26.   println("（6）该系DataBase课程共有多少人选修")
27.   df.select("name", "course").groupBy("course").count().filter("course = 'DataBase'").show()
29.   println("（7）每位同学平均成绩")
30.   val grades = df.groupBy("name").agg(sum("grade").alias("总成绩"), count("course").alias("科目数量"))
31.   val avgGrade = grades.withColumn("平均成绩", grades("总成绩") / grades("科目数量"))
32.   avgGrade.select(avgGrade("name"), round(avgGrade("平均成绩"), 2).alias("平均成绩")).show()
34.   sc.stop()
35. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。