用IDEA开发基于Spark3.4.1和Scala2.12.18的Spark项目标sbt方式配置，超详细
注：本次我用到的Scala版本为Scala2.12.18版本，Spark版本为3.4.1版本，IDEA版本为IntelliJ IDEA 2019.2.3 x64版本（IDEA版本如果是别的的版本的话，大概有些许地方不一样，但都是同样的原理）下载安装Scala2.12.18
The Scala Programming Language
打开上面的网址，点击install
https://i-blog.csdnimg.cn/direct/6400fa65b50c4a8d88764b36afe7d1f4.png
跳转后找到下图所示的地方点进去
https://i-blog.csdnimg.cn/direct/723ab57ffe6e4f69a1787a55c903341f.png
找到Scala2.12.18版本点进去
https://i-blog.csdnimg.cn/direct/3eb2a138540c4789b3c7244faf51618a.png
下滑找到Windows平台的zip包下载
https://i-blog.csdnimg.cn/direct/11a26b2df9964856a6d70aeaa5cefc50.png
下载下来解压到恣意一个地方，最好是放在此处之后不再移动，由于要配环境变量，移动了后要重新配环境变量
https://i-blog.csdnimg.cn/direct/7bad4226fefa4757bd61a1c8b63dfdfa.png
如果是Win11体系请打开设置照下面的次序点进去
https://i-blog.csdnimg.cn/direct/00a004b2e1d646bd8646129ba82761ab.png
在用户变量里点击新建（要配置体系变量也行，同样的操作）
https://i-blog.csdnimg.cn/direct/ce9ab71e129c46509eb3df291726adf4.png
找下面图中的内容输入变量名，点击浏览目次，到解压的目次的bin文件夹地点的同级路径下点击确定再确定
https://i-blog.csdnimg.cn/direct/93d22779df47438c93cc2367ef640ab1.png
https://i-blog.csdnimg.cn/direct/973fec4a41a84402aa4b8e53ac1dff22.png
点击Path点编辑
https://i-blog.csdnimg.cn/direct/6402024f2d184c499a00265718e275bc.png
点击新建，加入如图所示内容，点击确认、确认再确认即可
https://i-blog.csdnimg.cn/direct/0298207e89774ba99d820a061cf96cb2.png
win+R输入cmd回车，在下令框输入scala -version回车，出现如图情况说明成功了（直接键入scala就可以在下令行写scala步伐了，要退出来键入:quit回车即可，scala编程这里就不先容了，感兴趣的可以本身去学习哦）
https://i-blog.csdnimg.cn/direct/230257b39e024f43b7fdfa366e008d4a.png
打开IDEA，新建项目
https://i-blog.csdnimg.cn/direct/aec3d6f473b044609ecbe7343c5b2f4a.png
照下图点击操作
https://i-blog.csdnimg.cn/direct/ec7ce6bc066547bea6decd73e013e322.png
图中的名称、地址本身填，唯独注意的是jdk版本选择本身当前所安装的jdk（建议jdk1.8以上，如果没安装好jdk的请先安装好哦），sbt版本用默认就行（IDEA版本和我一样的就像我一样即可），scala版本选择2.12.18版本，最后点击finally
https://i-blog.csdnimg.cn/direct/5e06edd95c914930be93d10dd68e547b.png
进去后等候构建成功
https://i-blog.csdnimg.cn/direct/e9c028870f7f44a7a73deb8924526c08.png
配置sbt依赖
这里只演示基于sbt添加spark-sql和spark-core依赖，别的的依赖本身添加即可
展开项目，在build.sbt文件里配置
https://i-blog.csdnimg.cn/direct/7cfa7bf9cc9f4fb183d5b5b924eac73d.png
添加如下配置，此中包罗了将国外源改为国内的阿里源，然后点击如图所示位置下载依赖
https://i-blog.csdnimg.cn/direct/74bc01c2637e46b6b03ebe92001e5407.png
name := "SparkSbt"
version := "0.1"
scalaVersion := "2.12.18"
lazy val root = (project in file("."))
.settings(
// 指定国内源
resolvers += "central" at "https://maven.aliyun.com/repository/public",
// 屏蔽默认的maven central源
externalResolvers := Resolver.combineDefaultResolvers(resolvers.value.toVector, mavenCentral = false),
updateOptions := updateOptions.value.withCachedResolution(true),
libraryDependencies += "org.apache.spark" %% "spark-core" % "3.4.1",
libraryDependencies += "org.apache.spark" %% "spark-sql" % "3.4.1"
)等候成功即可
https://i-blog.csdnimg.cn/direct/99a8ad3975bf453f9b671b998316c254.png
创建Spark项目结构如下，一般在scala下创建包，再在包中创建Spark项目
https://i-blog.csdnimg.cn/direct/44f6aba89f38474a97ca94a0f99abbc0.png
在创建好的包下创建项目
https://i-blog.csdnimg.cn/direct/a5fa66b99b3741e6a8929a0035db8d5d.png
https://i-blog.csdnimg.cn/direct/c52d0b5cc62145629aceb9716ce8ff6e.png
代码测试，写好后点一下代码界面，右键点运行
https://i-blog.csdnimg.cn/direct/32a82304da994d388b5a12dd6cfc497c.png
package Test
import org.apache.spark.{SparkConf, SparkContext}
object RDD {
def main(args:Array): Unit ={
//创建SparkContext对象
val conf = new SparkConf().setAppName("RDDtest1").setMaster("local")
val sc = new SparkContext(conf)
// Spark处理逻辑代码
val datas = Array(8,10,3,9,5)
val distData = sc.parallelize(datas)
val i: Int = distData.reduce((a, b) => a + b)
//关闭SparkContext对象
println(i)
sc.stop()
}
}运行如下图，结果正确
https://i-blog.csdnimg.cn/direct/dc48bc0494fa4b6eabced5d91aa3f4d2.png
至此，教程完毕。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]