qidao123.com技术社区-IT企服评测·应用市场

标题: spark中ubuntn假造机的操作失误命令总结 [打印本页]

作者: 民工心事 时间: 4 天前
标题: spark中ubuntn假造机的操作失误命令总结
1. 权限相干失误

错误场景：利用平凡用户执行需 root 权限的命令

【错误命令】：

apt-get install package # 未加 sudo
rm /etc/important_file # 平凡用户无权限
【解决方案】：
利用 sudo 前缀或切换到 root 用户：
sudo apt-get install package
sudo rm /path/to/file
# 或切换 root
su root
2. 文件/目录操作失误

误删除关键文件

【危险命令】：
rm -rf /path/to/directory # 误删 Spark/Hadoop 设置文件或数据
rm * # 当前目录下文件被清空（尤其在根目录下）
【防备步伐】：
利用 trash-cli 替代直接删除（需安装）：
sudo apt-get install trash-cli
trash-put file_to_delete
删除前确认路径，尤其是通配符（如 rm *）。
【误覆盖文件】：
mv important_file /tmp # 若目的路径已存在同名文件，会被覆盖
【解决方案】：
利用 mv -i 交互模式（扣问是否覆盖）：
alias mv='mv -i' # 可到场 ~/.bashrc
3. 服务管理错误

忘记启动 Hadoop/Spark 服务

【错误现象】：提交 Spark 任务失败（如毗连不到 ResourceManager）。
【解决方案】：
# 启动 Hadoop HDFS/YARN
start-dfs.sh
start-yarn.sh
# 启动 Spark Standalone 集群
$SPARK_HOME/sbin/start-all.sh
错误制止服务

【危险命令】：
stop-all.sh # 可能误停 Hadoop 或 Spark 服务（取决于环境变量）
【解决方案】：
明白区分服务制止命令：
# 制止 Hadoop
stop-dfs.sh
stop-yarn.sh
# 制止 Spark
$SPARK_HOME/sbin/stop-all.sh
4. 环境设置错误

修改设置文件后未生效

【错误操作】：修改 ~/.bashrc 或 /etc/profile 后未革新环境变量。
【解决方案】：
source ~/.bashrc # 立即生效
source /etc/profile
JAVA_HOME 设置错误

【错误现象】：Spark 提交任务时报错 JAVA_HOME not set。
【修复方法】：
# 检查 Java 安装路径
update-alternatives --config java
# 在 ~/.bashrc 中设置
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/binPATH
5. Spark 任务提交织误

提交任务时参数错误

【错误命令】：
spark-submit --master yarn --driver-memory 100g my_app.py # 内存超限
【解决方案】：
根据集群资源调解参数，查看日志定位错误：
spark-submit --master yarn --driver-memory 4g my_app.py
tail -f /var/log/spark/*.log
6. 网络与端口标题

误关闭关键端口

【错误操作】：用 ufw 或 iptables 制止了 Spark/Hadoop 端口（如 8080、7077、9000）。
【解决方案】：
sudo ufw allow 8080 # 开放 Spark Web UI 端口
sudo ufw reload
7. 软件包管理错误

误删除依赖包

apt-get remove python3 # 删除体系关键依赖
【解决方案】：

利用 apt-get autoremove 谨慎清理，制止随意卸载体系包。
8. 用户与权限管理

误修改文件全部者

【错误命令】：
chown -R root:root /home/spark # 导致 Spark 用户无法访问
【修复】：
chown -R spark:spark /home/spark
9. 数据丢失与恢复

误删 HDFS 数据

【错误命令】：
hdfs dfs -rm -r /user/important_data
【解决方案】：
启用 HDFS 接纳站（需提前设置 core-site.xml）：
<property>
<name>fs.trash.interval</name>
<value>1440</value> # 保存时间（分钟）
</property>

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/)