ToB企服应用市场:ToB评测及商务社交产业平台

标题: Mac 配置Hadoop、spark、Scala、jdk [打印本页]

---

作者: 何小豆儿在此    时间: 2024-8-15 08:47
标题: Mac 配置Hadoop、spark、Scala、jdk
Mac 配置Hadoop、spark、Scala、jdk1.8

一、安装jdk1.8（适配于 Mac M1芯片）

下载地点：
Java Downloads | Oracle
1.下载好利用 终端 进行解压

1. tar -zxf jdk-8u401-macosx-aarch64.tar.gz

复制代码

2.配置情况变量

1.终端打开 .bash_profile

1. vim ~/.bash_profile

复制代码

2.将以下代码放进 .bash_profile 里面(注意修改路径)

1. export PATH=${PATH}:/Users/laohe_juan/Downloads/jdk1.8.0_401.jdk/Contents/Home
2. export PATH=$JAVA_HOME/bin:$PATH

复制代码

3.esc按键 + ：号键 输入 wq （生存并退出）


4.重新加载 .bash_profile 文件

1. source ~/.bash_profile

复制代码

5.输入以下代码检查配置是否乐成

1. java -version

复制代码

二、安装Spark

下载链接：
News | Apache Spark
1.下载好并利用 终端 进行解压

1. tar -zxf spark-3.1.1-bin-hadoop3.2.tar

复制代码

2.进行情况配置

1.终端打开 .bash_profile

1. vim ~/.bash_profile

复制代码

2.以下代码放进 .bash_profile 里面(注意修改路径)

1. # 方式一
3. export SPARK_HOME=/Users/laohe_juan/Downloads/spark-3.1.1-bin-hadoop3.2
4. export PATH=$PATH:$SPARK_HOME/bin
5. export PYSPARK_PYTHON=python3
6. # 注意 python3是自己系统安装的版本
9. # 方式二  需要先安装 Hadoop 请先跳转到安装 Hadoop 记得再返回到此处
10. export SPARK_HOME=/Users/laohe_juan/Downloads/spark-3.1.1-bin-hadoop3.2
11. export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

复制代码

3.esc按键 + ：号键 输入 wq （生存并退出）


4.重新加载 .bash_profile 文件

1. source ~/.bash_profile

复制代码

5.输入以下代码检查配置是否乐成

1. pyspark

复制代码

利用方式二：  （确保 Hadoop 安装完成，否则 请跳转到 安装 Hadoop）

1.进入 conf 修改 文件名

1. cd Downloads/spark-3.1.1-bin-hadoop3.2/conf

复制代码

1. #  修改一下两个文件

复制代码

1. mv spark-env.sh.template spark-enc.sh
2. mv workers.template workers

复制代码

2.修改配置文件 spark-enc.sh

1. vim spark-enc.sh

复制代码

添加如下：（ 注意修改地点 ）

1. export JAVA_HOME=/Users/laohe_juan/Downloads/jdk1.8.0_401.jdk/
2. export HADOOP_HOME=/Users/laohe_juan/Downloads/hadoop-3.1.3/
3. export HADOOP_CONF_DIR=/Users/laohe_juan/Downloads/hadoop-3.1.3/etc/hadoop
4. export SPARK_MASTER_HOST=localhost

复制代码

3.进入 sbin 修改 启动命令 （使不与 hadoop 同样）

1. mv start-all.sh start-spark.sh    //启动spark
2. mv stop-all.sh stop-spark.sh     //关闭spark

复制代码

4.启动spark （出现 Master 和 Worker 则启动乐成）

1. start-spark.sh

复制代码

​​​​​​​


三、安装Hadoop（确保ssh）

下载链接：
Apache Hadoop
0.ssh

1.确保已经安装SSH

1. ps -e|grep ssh

复制代码

查看版本号：

1. ssh -V

复制代码

2.依次输入以下命令（免密）

1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3. chmod 0600 ~/.ssh/id_rsa.pub

复制代码

3.ssh测试

1. ssh localhost

复制代码

1.下载好并利用 终端 进行解压

1. tar -zxf hadoop-3.1.3.tar

复制代码

2.进行情况配置

1.终端打开 .bash_profile

1. vim ~/.bash_profile

复制代码

2.以下代码放进 .bash_profile 里面(注意修改路径)

1. export HADOOP_HOME=/Users/laohe_juan/Downloads/hadoop-3.1.3/
2. export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
3. export HADOOP_INSTALL=$HADOOP_HOME
4. export HADOOP_MAPRED_HOME=$HADOOP_HOME
5. export HADOOP_COMMON_HOME=$HADOOP_HOME
6. export HADOOP_HDFS_HOME=$HADOOP_HOME
7. export YARN_HOME=$HADOOP_HOME
8. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
9. export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/nativ"

复制代码

3.esc按键 + ：号键 输入 wq （生存并退出）


4.重新加载 .bash_profile 文件

1. source ~/.bash_profile

复制代码

5.输入以下代码检查配置是否乐成

1. hadoop version

复制代码

3.修改配置文件（首先进入到Hadoop）

1. cd /Users/laohe_juan/Downloads/hadoop-3.1.3/etc/hadoop

复制代码

1.打开 hadoop-env.sh 配置 jdk 路径 ( 注意路径双方的引号必要添加 )

1. export JAVA_HOME="/Users/laohe_juan/Downloads/jdk1.8.0_401.jdk/Contents/Home"

复制代码

2.配置 core-site.sh 文件 ( 注意路径必要修改为本身的 )

1. <configuration>
2.    <property>
3.        <name>hadoop.tmp.dir</name>
4.        <value>/Users/laohe_juan/Downloads/hdfs/tmp/</value>
5.    </property>
6.    <property>
7.        <name>fs.default.name</name>
8.        <value>hdfs://127.0.0.1:9000</value>
9.    </property>
10. </configuration>

复制代码

3.配置 hdfs-site.xml 文件 ( 注意路径必要修改为本身的 )

1. <configuration>
2.   <property>
3.      <name>dfs.data.dir</name>
4.      <value>/Users/laohe_juan/Downloads/hdfs/namenode</value>
5.   </property>
6.   <property>
7.      <name>dfs.data.dir</name>
8.      <value>/Users/laohe_juan/Downloads/hdfs/datanode</value>
9.   </property>
10.   <property>
11.      <name>dfs.replication</name>
12.      <value>1</value>
13.   </property>
14. </configuration>

复制代码

1. ​

复制代码

4.配置 mapred-site.xml 文件

1. <configuration>
2.   <property>
3.    <name>mapreduce.framework.name</name>
4.    <value>yarn</value>
5.   </property>
6. </configuration>

复制代码

5.配置 yarn-site.xml 文件

1. <configuration>
2.   <property>
3.    <name>yarn.nodemanager.aux-services</name>
4.    <value>mapreduce_shuffle</value>
5.   </property>
6.   <property>
7.    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
8.    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
9.   </property>
10.   <property>
11.    <name>yarn.resourcemanager.hostname</name>
12.    <value>127.0.0.1</value>
13.   </property>
14.   <property>
15.    <name>yarn.acl.enable</name>
16.    <value>0</value>
17.   </property>
18.   <property>
19.    <name>yarn.nodemanager.env-whitelist</name>
20.    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
21.   </property>
22. </configuration>

复制代码

6.执行 命令

1. hdfs namenode -format

复制代码

乐成则如下：

注意：如果后面有进程没有启动乐成时，切记 查看进程（在安装目录下的 logs 目录），然后有关 没有匹配的目录类型的日志报错的话，多半是在最开始配置中有错误然后没有重新天生对应的目录及文件！所以重新执行此命令大概率就解决了。
7.启动集群

1. start-all.sh

复制代码

8.查看集群是否全部启动乐成

1. jps

复制代码

Hadoop 配置文件总阅：

乐成后的所有进程：

四、安装Scala ( 确保有java情况 )

下载安装（此用到的是2.12版本)
下载地点：Scala 2.12.0 | The Scala Programming Language
1.下载好利用 终端 解压

1. tar -zxf scala-2.12.0.tar

复制代码

2.配置情况变量

1.终端打开 .bash_profile

1. vim ~/.bash_profile

复制代码

2.将以下代码放进 .bash_profile 里面(注意修改路径)

1. export PATH=${PATH}:/Users/laohe_juan/Downloads/scala-2.12.0/bin
2. export PATH=$SCALA_HOME/bin:$PATH

复制代码

3.esc按键 + ：号键 输入 wq （生存并退出）


4.重新加载 .bash_profile 文件

1. source ~/.bash_profile

复制代码

5.输入以下代码检查配置是否乐成

1. scala -version

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4