论坛 › 数据仓库与分析 › Spark和Hadoop的安装

缠丝猫 发表于 前天 11:58

Spark和Hadoop的安装

一、实验目的

（1）把握在Linux假造机中安装Hadoop和Spark的方法；
（2）熟悉HDFS的基本使用方法；
（3）把握使用Spark访问当地文件和HDFS文件的方法。
二、实验内容和要求

1.安装Hadoop和Spark

       进入Linux系统，参照PPT，完成Hadoop和Spark的安装。自行选择安装模式。
https://i-blog.csdnimg.cn/direct/e043d6a9889b4411b2852dbb033e83db.png
https://i-blog.csdnimg.cn/direct/8ded007c99154135a61a1d3160eeadb8.png
https://i-blog.csdnimg.cn/direct/65b59143a7cc4b738f5804ec2f3eb45f.png
https://i-blog.csdnimg.cn/direct/2c232cad51f54da4a66708e3fb125369.png
https://i-blog.csdnimg.cn/direct/dce8a91687c7493798465dae4bd675b7.png
https://i-blog.csdnimg.cn/direct/50ab089ed8534458bdd6431dc4489443.png
https://i-blog.csdnimg.cn/direct/c4867b6b09a44f3eaba882b541680eae.png
https://i-blog.csdnimg.cn/direct/bd5fc4e43b5d4dd89cbd275315b12fbe.png
https://i-blog.csdnimg.cn/direct/f8752875cfe14111a5d40049b1610be4.png
https://i-blog.csdnimg.cn/direct/40fedcd225564ecb81a9bea4d7dab464.png
https://i-blog.csdnimg.cn/direct/84c9401ea81e42e38eec4fc2d3c80489.png
https://i-blog.csdnimg.cn/direct/5e37787043b24d008834530379b7030a.png
https://i-blog.csdnimg.cn/direct/25bc78422a8c4a3c9b118a7eb900eb7e.png
https://i-blog.csdnimg.cn/direct/e3eae1d9bb05413eac307c3772c66b5e.png
https://i-blog.csdnimg.cn/direct/f2e46e9750c44746922bf70f39fc38e5.png
2.HDFS常用操作

        使用hadoop用户名登录进入Linux系统，启动Hadoop，参照相干Hadoop册本或网络资料，大概也可以参考本课程PPT，使用Hadoop提供的Shell命令完成如下操作：

[*]启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；
        使用hadoop用户名登录进入Linux系统，假设Hadoop系统被安装在“/usr/local/hadoop”目录。使用如下命令启动Hadoop：
$cd  /usr/local/hadoop

$./sbin/start-dfs.sh  #启动HDFS

$./bin/hdfs  dfs  -mkdir  -p /user/hadoop  #在HDFS中创建用户目录/user/hadoop https://i-blog.csdnimg.cn/direct/ebcaed3b35704ef1ae8fcf3164f8ec3f.png

[*]在Linux系统的当地文件系统的“/home/hadoop”目录下新建一个文本文件test.txt，并在该文件中任意输入一些内容，然后上传到HDFS的“/user/hadoop”目录下；
$cd  /home/hadoop

$vim test.txt

#在test.txt中随便输入一些内容，并保存退出vim编辑器

$cd  /usr/local/hadoop

$./bin/hdfs  dfs  -put  /home/hadoop/test.txt  /user/hadoop https://i-blog.csdnimg.cn/direct/5ece3c7c06b3455a8c3e81cc50e04b44.png

[*]把HDFS中“/user/hadoop”目录下的test.txt文件，下载到Linux系统的当地文件系统中的“/home/hadoop/下载”目录下；
$ cd  /usr/local/hadoop

$./bin/hdfs  dfs  -get  /user/hadoop/test.txt  /home/hadoop/下载 https://i-blog.csdnimg.cn/direct/fd701705bade4751a5fe50d3bc1c7038.png

[*]将HDFS中“/user/hadoop”目录下的test.txt文件的内容输出到终端中举行表现；
$ cd  /usr/local/hadoop

$./bin/hdfs  dfs  -cat  /user/hadoop/test.txt https://i-blog.csdnimg.cn/direct/4daf7cece121482b82fd140734bf4d5e.png

[*]在HDFS中的“/user/hadoop”目录下，创建子目录input，把HDFS中“/user/hadoop”目录下的test.txt文件，复制到“/user/hadoop/input”目录下；
$ cd  /usr/local/hadoop

$./bin/hdfs  dfs  -mkdir  /user/hadoop/input

$./bin/hdfs  dfs  -cp  /user/hadoop/test.txt  /user/hadoop/input https://i-blog.csdnimg.cn/direct/cb8c1254e25b4ecea973732f7b1f3379.png

[*]删除HDFS中“/user/hadoop”目录下的test.txt文件，删除HDFS中“/user/hadoop”目录下的input子目录及其子目录下的所有内容。
$ cd  /usr/local/hadoop

$./bin/hdfs  dfs  -rm  /user/hadoop/test.txt

$./bin/hdfs  dfs  -rm  -r  /user/hadoop/input           https://i-blog.csdnimg.cn/direct/226bcadd61364f36a2da9d5615cd93f4.png
3.Spark读取文件系统的数据

（1）在spark-shell中读取Linux系统当地文件“/home/hadoop/test.txt”，然后统计出文件的行数；
假设Spark安装在“/usr/local/spark”目录。
$ cd  /usr/local/spark

$./bin/spark-shell

scala>val textFile=sc.textFile("file:///home/hadoop/test.txt")

scala>textFile.count() https://i-blog.csdnimg.cn/direct/5143104c561243ae908c04099410b89c.png
（2）在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；
scala>val textFile=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")

scala>textFile.count() https://i-blog.csdnimg.cn/direct/879e38075ebf4013bc31ff26e6ea2b4c.png
（3）编写独立应用步伐，读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过sbt工具将整个应用步伐编译打包成 JAR包，并将生成的JAR包通过 spark-submit 提交到 Spark 中运行命令。
        使用hadoop用户名登录Linux系统，打开一个终端，在Linux终端中，实验如下命令创建一个文件夹 sparkapp作为应用步伐根目录：
$ cd  ~           # 进入用户主文件夹

$ mkdir  ./sparkapp        # 创建应用程序根目录

$ mkdir  -p  ./sparkapp/src/main/scala     # 创建所需的文件夹结构 https://i-blog.csdnimg.cn/direct/cd14e756e7f348fe85f4766495d99bb4.png
        需要留意的是，为了可以或许使用sbt对Scala应用步伐举行编译打包，需要把应用步伐代码存放在应用步伐根目录下的“src/main/scala”目录下。下面使用vim编辑器在“~/sparkapp/src/main/scala”下创建一个名为 SimpleApp.scala的Scala代码文件，命令如下：
$ cd  ~

$ vim  ./sparkapp/src/main/scala/SimpleApp.scala https://i-blog.csdnimg.cn/direct/0c5218092b74483e9562c9270567ef38.png
        然后，在SimpleApp.scala代码文件中输入以下代码：
/* SimpleApp.scala */

import org.apache.spark.SparkContext

import org.apache.spark.SparkContext._

import org.apache.spark.SparkConf



object SimpleApp {

    def main(args: Array) {

        val logFile = " hdfs://localhost:9000/user/hadoop/test.txt"

        val conf = new SparkConf().setAppName("Simple Application")

        val sc = new SparkContext(conf)

        val logData = sc.textFile(logFile, 2)

        val num = logData.count()

        printf("The num of this file is %d", num)

    }

} https://i-blog.csdnimg.cn/direct/77dd5149c43440eb93d4f88fedb1d296.png
        下面使用sbt对Scala 步伐举行编译打包。
        SimpleApp.scala步伐依靠于Spark API，因此，需要通过sbt举行编译打包以后才华运行。 首先，需要使用vim编辑器在“~/sparkapp”目录下新建文件simple.sbt，命令如下：
$ cd  ~

$ vim  ./sparkapp/simple.sbt https://i-blog.csdnimg.cn/direct/09a1c000c530427581ead9dd7d97e62b.png
         simple.sbt文件用于声明该独立应用步伐的信息以及与 Spark的依靠关系（实际上，只要扩展名使用.sbt，文件名可以不用simple，可以自己随意命名，比如mysimple.sbt）。需要在simple.sbt文件中输入以下内容：
name := "Simple Project"

version := "1.0"

scalaVersion := "2.12.15"

libraryDependencies += "org.apache.spark" %% "spark-core" % "3.2.0" https://i-blog.csdnimg.cn/direct/8d395f75570d466fa3512a82d47bf62d.png
        为了包管sbt可以或许正常运行，先实验如下命令检查整个应用步伐的文件布局：
$ cd  ~/sparkapp

$ find  .         文件布局应该是类似如下所示的内容：
.

./src

./src/main

./src/main/scala

./src/main/scala/SimpleApp.scala

./simple.sbt https://i-blog.csdnimg.cn/direct/c43222b6aa61481e9c2ab2fb3bee1314.png
      接下来，可以通过如下代码将整个应用步伐打包成 JAR：
$ cd  ~/sparkapp  #一定把这个目录设置为当前目录

$ /usr/local/sbt/sbt  package https://i-blog.csdnimg.cn/direct/4dbece4943194a4e9ac9d7811f24d3ad.png
      对于刚刚安装的Spark和sbt而言，第一次实验上面命令时，系统会主动从网络上下载各种相干的依靠包，因此上面实验过程需要消耗几分钟时间，反面如果再次实验sbt package命令，速率就会快许多，因为不再需要下载相干文件。实验上述命令后，屏幕上会返回如下类似信息：
$ /usr/local/sbt/sbt package

OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=256M; support was removed in 8.0

Set current project to Simple Project (in build file:/home/hadoop/sparkapp/)

……

Done packaging.

Total time: 2 s, completed 2023-1-1 20:15:17 https://i-blog.csdnimg.cn/direct/7a1ce285044248d884d8f5be49ce2771.png
      生成的JAR包的位置为“~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar”。
       对于前面sbt打包得到的应用步伐JAR包，可以通过 spark-submit 提交到 Spark 中运行，命令如下：
$ /usr/local/spark/bin/spark-submit  --class  "SimpleApp" ~/sparkapp/target/scala-2.12/simple-project_2.12-1.0.jar https://i-blog.csdnimg.cn/direct/c34254375f8a4471ad2398e42ec25513.png

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

查看完整版本: Spark和Hadoop的安装