Spark 单机和集群环境摆设教程
下面是一个详细的 Spark 单机和集群环境摆设教程,以及摆设过程中的注意事项和一个利用 Java 和 Python 实现的 Spark 应用案例。一、Spark 单机模式摆设
1. 环境准备
[*]操纵体系:Linux (保举利用 Ubuntu 20.04 或 CentOS 7)
[*]Java:Spark 须要 Java 环境,保举利用 OpenJDK 8 或 11。
[*]Scala:假如利用 Scala 开发 Spark 应用,须要安装 Scala。
[*]Python:Spark 支持 Python 2.7+ 或 3.4+。
[*]Spark:下载并安装 Spark。
[*]Hadoop:固然在单机模式中不须要 Hadoop,但假如处理惩罚大规模数据,发起安装 Hadoop。
2. 安装 Java
在 Ubuntu 中:
sudo apt update
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!qidao123.com:ToB企服之家,中国第一个企服评测及软件市场,开放入驻,技术点评得现金
页:
[1]