Mac本机搭建Hadoop spark-yarn实行报错bin/bash: /Library/Internet: No su ...

Mac Spark On Yarn bin/bash: /Library/Internet: No such file or directory问题

问题原因：

Mac默认java安装目次在/Library/Internet Plug-Ins/JavaAppletPlugin.plugin/Contents/Home/bin/java ,
其中“Internet Plug-Ins”存在空格，导致无法正确找到Java。
Java默认安装地址：mac电脑-【系统设置】-【Java】-【检察】

检察yarn日志佐证
yarn logs -applicationId {application_id} -containerId {container_id}

解决办法：

因为本人平时利用idea开发，找到利用的sdk地址（或复制一份到新的目次中）
/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home

第一种：
实行spark命令时，增长参数spark.yarn.appMasterEnv.JAVA_HOME

1. ./bin/spark-submit \
2. --conf spark.yarn.appMasterEnv.JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home
3. \
4. --class org.apache.spark.examples.SparkPi \
5. --master yarn \
6. ./examples/jars/spark-examples_2.13-3.4.4.jar \
7. 10

复制代码

第二种
hadoop对应的yarn-env.sh 增长参数
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home
spark-defaults.conf 增长参数

1. spark.yarn.appMasterEnv.JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home

复制代码

第三种：「不建议」

• 指定环境变量JAVA_HOME，在 ~/.bash_profile等文件中指定JAVA_HOME环境变量
  

1. vi ~/.bash_profile
2. #添加下面三行
3. #JAVA_HOME
4. export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home/
5. export PATH=$PATH:$JAVA_HOME/bin

复制代码

• 保存后 source 一下
  source ~/.bash_profile
  
• 控制台 $JAVA_HOME 检察是否为刚配置的信息
  
  
  
  
• 再次实行 spark命令，若不再提示/Library/Internet: No such file or directory，解决完毕。
  

1. ./bin/spark-submit \
2. --class org.apache.spark.examples.SparkPi \
3. --master yarn \
4. ./examples/jars/spark-examples_2.13-3.4.4.jar \
5. 10

复制代码

• 若仍然提示该问题，则将mac电脑对应的Java卸载后再安装(更换下读取顺序)
  通过Java官方下载安装包https://www.java.com/en/download/
  
  
  
  

注:此贴仅记录遇到问题时，慢慢研究的，不专业，如有其他办法，感谢留言分享。写这个帖子的本意是记录自己的笨，既然参数有问题，起首应该想到的是参数是否可自界说配置，而不是去弄环境。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。