【spark学习】 spring boot 整合 spark

阐明

本例子是使用java语言实现的spark学习的案例笔记，整合springboot等干系框架。
使用当地算力进行计算。不需要安装hadoop。
主要用于在window体系下的开发学习。
环境

• jdk 1.8
  
• springboot 2.7.1
  
• windows 体系
  

安装 winutils

下载所在： https://github.com/steveloughran/winutils
大概关注微信公众号：张家的小伙子，复兴关键字：winutils 来获取网盘下载所在.
下载完成后，解压出来到某个路径下。此处我解压到 G:\hadoop\ 下
注意：此处的所在在以下的代码中使用到
解压得到以下结构的目次.以下目次对应的是各个版本的hadoop的bin目次。此处是使用的是3.0.0版本。

在pom.xml中导入依赖

1. <?xml version="1.0" encoding="UTF-8"?>
2. <project xmlns="http://maven.apache.org/POM/4.0.0"
3.          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
4.          xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
5.     <modelVersion>4.0.0</modelVersion>
6.     <parent>
7.         <groupId>org.springframework.boot</groupId>
8.         <artifactId>spring-boot-starter-parent</artifactId>
9.         <version>2.7.1</version>
10.     </parent>
12.     <groupId>org.example</groupId>
13.     <artifactId>SpringBootSparkDemo</artifactId>
14.     <version>1.0-SNAPSHOT</version>
16.     <properties>
17.         <java.version>8</java.version>
18.         <maven.compiler.source>8</maven.compiler.source>
19.         <maven.compiler.target>8</maven.compiler.target>
20.         <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
21.         <fastjson2.version>2.0.9</fastjson2.version>
22.         <lombok.version>1.18.24</lombok.version>
23.         <spring-boot-starter-test.version>3.3.5</spring-boot-starter-test.version>
24.         <spring-boot-starter.version>2.7.1</spring-boot-starter.version>
25.         <spark-core.version>3.5.3</spark-core.version>
26.         <spark-sql.version>3.5.3</spark-sql.version>
27.         <janino.version>3.1.12</janino.version>
29.         <junit.version>4.13.2</junit.version>
30.     </properties>
32.     <dependencies>
33.         <!-- fastjson2 -->
34.         <dependency>
35.             <groupId>com.alibaba.fastjson2</groupId>
36.             <artifactId>fastjson2</artifactId>
37.             <version>${fastjson2.version}</version>
38.         </dependency>
40.         <!-- lombok -->
41.         <dependency>
42.             <groupId>org.projectlombok</groupId>
43.             <artifactId>lombok</artifactId>
44.             <version>${lombok.version}</version>
45.         </dependency>
47.         <!--spring-boot-starter-->
48.         <dependency>
49.             <groupId>org.springframework.boot</groupId>
50.             <artifactId>spring-boot-starter</artifactId>
51.             <version>${spring-boot-starter.version}</version>
52.         </dependency>
54.         <!--spark start-->
55.         <dependency>
56.             <groupId>org.apache.spark</groupId>
57.             <artifactId>spark-core_2.13</artifactId>
58.             <version>${spark-core.version}</version>
59.         </dependency>
60.         <dependency>
61.             <groupId>org.apache.spark</groupId>
62.             <artifactId>spark-sql_2.13</artifactId>
63.             <version>${spark-sql.version}</version>
64.         </dependency>
65.         <dependency>
66.             <groupId>org.codehaus.janino</groupId>
67.             <artifactId>janino</artifactId>
68.             <version>${janino.version}</version>
69.         </dependency>
71.         <!--spark end-->
72.         <dependency>
73.             <groupId>org.springframework.boot</groupId>
74.             <artifactId>spring-boot-starter-test</artifactId>
75.             <version>${spring-boot-starter-test.version}</version>
76.         </dependency>
78.         <dependency>
79.             <groupId>junit</groupId>
80.             <artifactId>junit</artifactId>
81.             <version>${junit.version}</version>
82.             <scope>test</scope>
83.         </dependency>
84.     </dependencies>
85.     <build>
86.         <plugins>
87.             <plugin>
88.                 <groupId>org.apache.maven.plugins</groupId>
89.                 <artifactId>maven-compiler-plugin</artifactId>
90.                 <version>3.8.1</version>
91.                 <configuration>
92.                     <source>1.8</source>
93.                     <target>1.8</target>
94.                     <encoding>UTF-8</encoding>
95.                 </configuration>
96.             </plugin>
97.             <plugin>
98.                 <groupId>org.springframework.boot</groupId>
99.                 <artifactId>spring-boot-maven-plugin</artifactId>
100.                 <configuration>
101.                     <includeSystemScope>true</includeSystemScope>
102.                     <excludes>
103.                         <exclude>
104.                             <groupId>org.projectlombok</groupId>
105.                             <artifactId>lombok</artifactId>
106.                         </exclude>
107.                     </excludes>
108.                 </configuration>
109.             </plugin>
110.         </plugins>
111.     </build>
112. </project>

复制代码

创建SparkConfig类

此类主要用于声明spark的配置，包罗spark的运行模式，spark的运行环境等。

1. import org.apache.spark.SparkConf;
2. import org.apache.spark.api.java.JavaSparkContext;
3. import org.apache.spark.sql.SparkSession;
4. import org.springframework.beans.factory.annotation.Value;
5. import org.springframework.context.annotation.Bean;
6. import org.springframework.context.annotation.Configuration;
8. /**
9. * spark配置类
10. */
11. @Configuration
12. public class SparkConfig {
13.     // 从配置文件中注入Spark应用的名称
14.     @Value("${spark.app.name}")
15.     private String appName;
17.     // 从配置文件中注入Spark master的URL
18.     @Value("${spark.master.url}")
19.     private String masterUrl;
21.     /**
22.      * 配置SparkConf对象，声明Spark应用的运行模式和运行环境
23.      * @return SparkConf 返回spark配置对象
24.      */
25.     @Bean
26.     public SparkConf sparkConf() {
27.         // 在步骤：准备hadoop环境 中方案2的地址，可以根据自己电脑的实际情况修改。此处使用的是hadoop-3.0.0的版本。
28.         System.setProperty("hadoop.home.dir", "G:\\hadoop\\winutils-master\\hadoop-3.0.0");
29.         // 创建SparkConf对象
30.         return new SparkConf()
31.                 .setAppName(appName)
32.                 .setMaster(masterUrl);
33.     }
35.     /**
36.      * JavaSparkContext 是 Apache Spark 提供的一个类，用于创建和管理 Spark 上下文。
37.      * 它是 Spark 应用程序的入口点，提供了与 Spark 集群交互的能力
38.      * @return
39.      */
40.     @Bean
41.     public JavaSparkContext sparkContext() {
42.         return new JavaSparkContext(sparkConf());
43.     }
45.     /**
46.      * SparkSession 是 Apache Spark 2.x 版本中引入的一个统一的入口点，用于创建 DataFrame、Dataset 和 SQL 查询。
47.      * 它封装了 Spark 的各种上下文（如 SparkContext、SQLContext 等）
48.      */
49.     @Bean
50.     public SparkSession sparkSession() {
51.         return SparkSession.builder().sparkContext(sparkContext().sc()).getOrCreate();
52.     }
53. }

复制代码

配置参数

在application.yml文件中添加如下配置：

1. # spark相关配置
2. spark:
3.   # spark应用配置
4.   app:
5.     # 应用名称
6.     name: sparkDemo
7.   # spark master主节点配置
8.   master:
9.     # 主节点运行模式配置，可选值：local、yarn、mesos、k8s
10.     # 此处使用本地模式
11.     url: local[*]
13. # 日志配置
14. logging:
15.   # 日志级别
16.   level:
17.     # 根日志级别。 off：关闭springboot的日志，本地学习时关闭后可以更清楚查看spark的日志输出
18.     root: off

复制代码

测试整合效果

创建一个定时使命类，用于测试整合是否乐成。
[code][/code] 输出词频统计效果如下图。阐明已经乐成整合：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。