Spark和Hadoop的安装

一、实验目的

（1）把握在Linux假造机中安装Hadoop和Spark的方法；
（2）熟悉HDFS的基本使用方法；
（3）把握使用Spark访问当地文件和HDFS文件的方法。
二、实验内容和要求

1.安装Hadoop和Spark

       进入Linux系统，参照PPT，完成Hadoop和Spark的安装。自行选择安装模式。

2.HDFS常用操作

        使用hadoop用户名登录进入Linux系统，启动Hadoop，参照相干Hadoop册本或网络资料，大概也可以参考本课程PPT，使用Hadoop提供的Shell命令完成如下操作：

• 启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；
  

        使用hadoop用户名登录进入Linux系统，假设Hadoop系统被安装在“/usr/local/hadoop”目录。使用如下命令启动Hadoop：

1. $cd  /usr/local/hadoop
3. $./sbin/start-dfs.sh  #启动HDFS
5. $./bin/hdfs  dfs  -mkdir  -p /user/hadoop  #在HDFS中创建用户目录/user/hadoop

复制代码

• 在Linux系统的当地文件系统的“/home/hadoop”目录下新建一个文本文件test.txt，并在该文件中任意输入一些内容，然后上传到HDFS的“/user/hadoop”目录下；
  

1. $cd  /home/hadoop
3. $vim test.txt
5. #在test.txt中随便输入一些内容，并保存退出vim编辑器
7. $cd  /usr/local/hadoop
9. $./bin/hdfs  dfs  -put  /home/hadoop/test.txt  /user/hadoop

复制代码

• 把HDFS中“/user/hadoop”目录下的test.txt文件，下载到Linux系统的当地文件系统中的“/home/hadoop/下载”目录下；
  

1. $ cd  /usr/local/hadoop
3. $./bin/hdfs  dfs  -get  /user/hadoop/test.txt  /home/hadoop/下载

复制代码

• 将HDFS中“/user/hadoop”目录下的test.txt文件的内容输出到终端中举行表现；
  

1. $ cd  /usr/local/hadoop
3. $./bin/hdfs  dfs  -cat  /user/hadoop/test.txt

复制代码

• 在HDFS中的“/user/hadoop”目录下，创建子目录input，把HDFS中“/user/hadoop”目录下的test.txt文件，复制到“/user/hadoop/input”目录下；
  

1. $ cd  /usr/local/hadoop
3. $./bin/hdfs  dfs  -mkdir  /user/hadoop/input
5. $./bin/hdfs  dfs  -cp  /user/hadoop/test.txt  /user/hadoop/input

复制代码

• 删除HDFS中“/user/hadoop”目录下的test.txt文件，删除HDFS中“/user/hadoop”目录下的input子目录及其子目录下的所有内容。
  

1. $ cd  /usr/local/hadoop
3. $./bin/hdfs  dfs  -rm  /user/hadoop/test.txt
5. $./bin/hdfs  dfs  -rm  -r  /user/hadoop/input          

复制代码

3.Spark读取文件系统的数据

（1）在spark-shell中读取Linux系统当地文件“/home/hadoop/test.txt”，然后统计出文件的行数；
假设Spark安装在“/usr/local/spark”目录。

1. $ cd  /usr/local/spark
3. $./bin/spark-shell
5. scala>val textFile=sc.textFile("file:///home/hadoop/test.txt")
7. scala>textFile.count()

复制代码

（2）在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；

1. scala>val textFile=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")
3. scala>textFile.count()

复制代码

（3）编写独立应用步伐，读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过sbt工具将整个应用步伐编译打包成 JAR包，并将生成的JAR包通过 spark-submit 提交到 Spark 中运行命令。
        使用hadoop用户名登录Linux系统，打开一个终端，在Linux终端中，实验如下命令创建一个文件夹 sparkapp作为应用步伐根目录：

1. $ cd  ~           # 进入用户主文件夹
3. $ mkdir  ./sparkapp        # 创建应用程序根目录
5. $ mkdir  -p  ./sparkapp/src/main/scala     # 创建所需的文件夹结构

复制代码

        需要留意的是，为了可以或许使用sbt对Scala应用步伐举行编译打包，需要把应用步伐代码存放在应用步伐根目录下的“src/main/scala”目录下。下面使用vim编辑器在“~/sparkapp/src/main/scala”下创建一个名为 SimpleApp.scala的Scala代码文件，命令如下：

1. $ cd  ~
3. $ vim  ./sparkapp/src/main/scala/SimpleApp.scala

复制代码

        然后，在SimpleApp.scala代码文件中输入以下代码：

1. /* SimpleApp.scala */
3. import org.apache.spark.SparkContext
5. import org.apache.spark.SparkContext._
7. import org.apache.spark.SparkConf
11. object SimpleApp {
13.     def main(args: Array[String]) {
15.         val logFile = " hdfs://localhost:9000/user/hadoop/test.txt"
17.         val conf = new SparkConf().setAppName("Simple Application")
19.         val sc = new SparkContext(conf)
21.         val logData = sc.textFile(logFile, 2)
23.         val num = logData.count()
25.         printf("The num of this file is %d", num)
27.     }
29. }

复制代码

        下面使用sbt对Scala 步伐举行编译打包。
        SimpleApp.scala步伐依靠于Spark API，因此，需要通过sbt举行编译打包以后才华运行。 首先，需要使用vim编辑器在“~/sparkapp”目录下新建文件simple.sbt，命令如下：

1. $ cd  ~
3. $ vim  ./sparkapp/simple.sbt

复制代码

         simple.sbt文件用于声明该独立应用步伐的信息以及与 Spark的依靠关系（实际上，只要扩展名使用.sbt，文件名可以不用simple，可以自己随意命名，比如mysimple.sbt）。需要在simple.sbt文件中输入以下内容：

1. name := "Simple Project"
3. version := "1.0"
5. scalaVersion := "2.12.15"
7. libraryDependencies += "org.apache.spark" %% "spark-core" % "3.2.0"

复制代码

        为了包管sbt可以或许正常运行，先实验如下命令检查整个应用步伐的文件布局：

1. $ cd  ~/sparkapp
3. $ find  .

复制代码

        文件布局应该是类似如下所示的内容：

1. .
3. ./src
5. ./src/main
7. ./src/main/scala
9. ./src/main/scala/SimpleApp.scala
11. ./simple.sbt

复制代码

      接下来，可以通过如下代码将整个应用步伐打包成 JAR：

1. $ cd  ~/sparkapp  #一定把这个目录设置为当前目录
3. $ /usr/local/sbt/sbt  package

复制代码

      对于刚刚安装的Spark和sbt而言，第一次实验上面命令时，系统会主动从网络上下载各种相干的依靠包，因此上面实验过程需要消耗几分钟时间，反面如果再次实验sbt package命令，速率就会快许多，因为不再需要下载相干文件。实验上述命令后，屏幕上会返回如下类似信息：

1. $ /usr/local/sbt/sbt package
3. OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=256M; support was removed in 8.0
5. [info] Set current project to Simple Project (in build file:/home/hadoop/sparkapp/)
7. ……
9. [info] Done packaging.
11. [success] Total time: 2 s, completed 2023-1-1 20:15:17

复制代码

      生成的JAR包的位置为“~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar”。
       对于前面sbt打包得到的应用步伐JAR包，可以通过 spark-submit 提交到 Spark 中运行，命令如下：

1. $ /usr/local/spark/bin/spark-submit  --class  "SimpleApp" ~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。