ToB企服应用市场:ToB评测及商务社交产业平台

标题: 2023_Spark_实验九：编写WordCount程序（Scala版） [打印本页]

---

作者: 欢乐狗    时间: 2024-11-29 14:26
标题: 2023_Spark_实验九：编写WordCount程序（Scala版）
需求：
1、做某个文件的词频统计//某个单词在这个文件出现次数
步调：

• 文件单词规律（空格分开）
  
• 单词切分
  
• 单词的统计（k,v）->(k:单词，V：数量）
  
• 打印
  

框架：

• 单例对象，main()
  
• 创建CONF
  
• 创建SC-->读取文件的方式--》RDD
  
• RDD进行处置惩罚
  
• 闭资源关
  

一、新建object类取名为WordCount

2、编写如下代码

1. import org.apache.spark.{SparkConf, SparkContext}
3. object WordCount {
4.     def main(args: Array[String]): Unit = {
5.         System.setProperty("hadoop.home.dir","D:\\hadoop\\hadoop-2.8.0")
6.         val sparkConf= new SparkConf().setAppName("WordCount").setMaster("local") //设置为本地模式
8.         val sc = new SparkContext(sparkConf)
9.         sc.setLogLevel("WARN")
10.         val resultArray = sc.textFile(path = "file:///d:/temp/a.txt")
11.             .flatMap(_.split(" "))
12.             .map((_,1))
13.             .reduceByKey(_+_)
14.             .collect()
15.         resultArray.foreach(println )
16.         sc.stop()
17.     }
19. }

复制代码

3、本地运行，检察运行结果如下：

办理无法下载spark与打包插件的办法
maven打包插件与spark所需依靠下载地址：
链接：百度网盘 请输入提取码
提取码：jnta
办理步调：
到网盘下载maven打包插件与spark依靠，网盘吗中的内容如下：

• 将下载的插件plugins.rar解压，并复制插件文件夹到你本地maven仓库下
  
• 将下载的spark依靠spark.rar解压，并复制spark文件夹到你本地maven仓库下
  
• 重启idea，重新build下工程
  

将下载的插件plugins.rar解压，并复制插件文件夹到你本地maven仓库下

将下载的spark依靠spark.rar解压，并复制spark文件夹到你本地maven仓库下

重启idea，重新build下工程

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4