第一个Spark程序

一、创建工程

1、创建方式一

创建Maven工程

添加Scala框架

创建Scala文件夹，并设置为源代码文件夹

创建包和对象

2、创建方式二

创建scala工程

添加maven框架

创建scala文件夹，并设置为源代码文件夹

创建包和对象

二、pom.xml添加依赖

1.     <dependencies>
2.         <dependency>
3.             <groupId>org.scala-lang</groupId>
4.             <artifactId>scala-library</artifactId>
5.             <version>2.11.8 </version>
6.         </dependency>
7.         <dependency>
8.             <groupId>org.apache.spark</groupId>
9.             <artifactId>spark-core_2.11</artifactId>
10.             <version>2.4.3</version>
11.         </dependency>
13.         <dependency>
14.             <groupId>org.apache.hadoop</groupId>
15.             <artifactId>hadoop-client</artifactId>
16.             <version>3.2.0</version>
17.         </dependency>
18.     </dependencies>

复制代码

三、添加资源文件

在resources目录下创建log4j2.properties,内容如下：

1. log4j.rootLogger=INFO, stdout   
2. log4j.appender.stdout=org.apache.log4j.ConsoleAppender   
3. log4j.appender.stdout.layout=org.apache.log4j.PatternLayout   
4. log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n   
5. log4j.appender.logfile=org.apache.log4j.FileAppender   
6. log4j.appender.logfile.File=target/spring.log   
7. log4j.appender.logfile.layout=org.apache.log4j.PatternLayout   
8. log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n  

复制代码

四、添加代码如下

1. package com.soft863
3. import org.apache.spark.{SparkConf, SparkContext}
5. object WordCount {
6.   def main(args: Array[String]): Unit = {
7.     //setMaster：指定spark的运行模式，这里指定为本地运行
8.     //local[1]：指定线程数
9.     var conf = new SparkConf().setMaster("local[1]").setAppName("WC")
10.     //打包到linux服务器上执行，或者在windows上执行，需要Hadoop依赖
11.     //conf = new SparkConf().setMaster("spark://master:7077").setAppName("WC")
12.     //创建SparkContext，该对象是提交spark App的入口
13.     val sc = new SparkContext(conf)
14.     excute(sc,"D:\\word.txt","D:\\data\\output1")
15.   }
17.   def excute(sc: SparkContext, source: String, targetFolder: String): Unit = {
18.     sc.textFile(source)
19.       .flatMap(_.split(" "))
20.       .map((_, 1))
21.       .reduceByKey(_ + _)
22.       //指定结果的输出目录，目录不能存在
23.       .saveAsTextFile(targetFolder)
24.     sc.stop()
25.   }
26. }

复制代码

五、运行程序，查看结果

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。