spark-sql设置教程

1.前期预备

（1）起首要把hadoop集群，hive和spark等设置好

hadoop集群，hive的设置可以看看这个博主写的博客

大数据_蓝净云的博客-CSDN博客
大概看看黑马程序员的视频
黑马程序员大数据入门到实战教程，大数据开辟必会的Hadoop、Hive，云平台实战项目全套一扫而空_哔哩哔哩_bilibili
对于博主本人，有关hadoop集群和hive的设置可以直接看这篇文章
黑马程序员hadoop三件套（hdfs,Mapreduce,yarn）的安装设置以及hive的安装设置-CSDN博客

spark设置参考文章：

spark的安装设置_spark基本设置-CSDN博客
（2）最好把Finalshell也下载好，详细下载教程详见如下文章：

保姆级教程下载finalshell以及毗连云服务器基础的使用教程_finalshell下载安装-CSDN博客









2.设置spark-sql

（1）起首在node1登录root用户，接着进入hive安装目录conf目录，修改hive-site.xml

1. cd /export/server/apache-hive-3.1.3-bin/conf/
2. vi hive-site.xml

复制代码

添加如下内容：
<property>
    <name>hive.spark.client.jar</name>
    <value>${SPARK_HOME}/lib/spark-assembly-*.jar</value>
</property>

1. <property>
2.     <name>hive.spark.client.jar</name>
3.     <value>${SPARK_HOME}/lib/spark-assembly-*.jar</value>
4. </property>

复制代码

（2）拷贝hive-site.xml到/export/server/spark-3.4.4-bin-hadoop3/conf，同时分发到node2，node3节点

1. cp /export/server/apache-hive-3.1.3-bin/conf/hive-site.xml /export/server/spark-3.4.4-bin-hadoop3/conf/
2. scp /export/server/apache-hive-3.1.3-bin/conf/hive-site.xml node2:/export/server/spark-3.4.4-bin-hadoop3/conf/
3. scp /export/server/apache-hive-3.1.3-bin/conf/hive-site.xml node3:/export/server/spark-3.4.4-bin-hadoop3/conf/

复制代码

（3）拷贝MYSQL驱动到/export/server/spark-3.4.4-bin-hadoop3/jars/，同时分发到node2，node3节点

1. cp /export/server/apache-hive-3.1.3-bin/lib/mysql-connector-java-5.1.34.jar /export/server/spark-3.4.4-bin-hadoop3/jars/
2. scp /export/server/spark-3.4.4-bin-hadoop3/jars/mysql-connector-java-5.1.34.jar node2:/export/server/spark-3.4.4-bin-hadoop3/jars/
3. scp /export/server/spark-3.4.4-bin-hadoop3/jars/mysql-connector-java-5.1.34.jar node3:/export/server/spark-3.4.4-bin-hadoop3/jars/

复制代码

（4）在node1的/export/server/spark-3.4.4-bin-hadoop3/conf/spark-env.sh 文件中设置 MySQL 驱动，同时分发到node2，node3节点

1. vi /export/server/spark-3.4.4-bin-hadoop3/conf/spark-env.sh

复制代码

 添加如下内容：
export SPARK_CLASSPATH=/export/server/spark-3.4.4-bin-hadoop3/jars/mysql-connector-java-5.1.34.jar

1. export SPARK_CLASSPATH=/export/server/spark-3.4.4-bin-hadoop3/jars/mysql-connector-java-5.1.34.jar

复制代码

分发
scp /export/server/spark-3.4.4-bin-hadoop3/conf/spark-env.sh node2:/export/server/spark-3.4.4-bin-hadoop3/conf/
scp /export/server/spark-3.4.4-bin-hadoop3/conf/spark-env.sh node3:/export/server/spark-3.4.4-bin-hadoop3/conf/

1. scp /export/server/spark-3.4.4-bin-hadoop3/conf/spark-env.sh node2:/export/server/spark-3.4.4-bin-hadoop3/conf/
2. scp /export/server/spark-3.4.4-bin-hadoop3/conf/spark-env.sh node3:/export/server/spark-3.4.4-bin-hadoop3/conf/

复制代码

（5）在node1修改日志级别，同时分发到node2，node3节点

1. cp /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties.template /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties
2. vi /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties

复制代码

把以下这部分注释
rootLogger.level = info
rootLogger.appenderRef.stdout.ref = console 
注释后效果如下
# rootLogger.level = info
# rootLogger.appenderRef.stdout.ref = console
再添加以下内容：
rootLogger.level = warn
rootLogger.appenderRef.console.ref = console

1. rootLogger.level = warn
2. rootLogger.appenderRef.console.ref = console

复制代码

再分发
scp /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties node2:/export/server/spark-3.4.4-bin-hadoop3/conf/
scp /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties node3:/export/server/spark-3.4.4-bin-hadoop3/conf/
 

1. scp /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties node2:/export/server/spark-3.4.4-bin-hadoop3/conf/
2. scp /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties node3:/export/server/spark-3.4.4-bin-hadoop3/conf/

复制代码

3.体验spark-sql

（1）起首启动该启动的，在node1（此时是root用户）直接复制以下命令到命令行运行即可

1. su - hadoop
2. start-dfs.sh
3. start-yarn.sh
4. nohup /export/server/hive/bin/hive --service metastore >> /export/server/hive/logs/metastore.log 2>&1 &
5. cd /export/server/spark-3.4.4-bin-hadoop3/sbin
6. ./start-all.sh
7. jps
8. spark-sql

复制代码

效果如下

1. [root@node1 ~]# su - hadoop
2. Last login: Wed Dec  4 20:52:45 CST 2024 on pts/0
3. [hadoop@node1 ~]$ start-dfs.sh
4. Starting namenodes on [node1]
5. Starting datanodes
6. Starting secondary namenodes [node1]
7. [hadoop@node1 ~]$ start-yarn.sh
8. Starting resourcemanager
9. Starting nodemanagers
10. [hadoop@node1 ~]$ nohup /export/server/hive/bin/hive --service metastore >> /export/server/hive/logs/metastore.log 2>&1 &
11. [1] 39039
12. [hadoop@node1 ~]$ cd /export/server/spark-3.4.4-bin-hadoop3/sbin
13. [hadoop@node1 sbin]$ ./start-all.sh
14. starting org.apache.spark.deploy.master.Master, logging to /export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-node1.out
15. node2: starting org.apache.spark.deploy.worker.Worker, logging to /export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-node2.out
16. node3: starting org.apache.spark.deploy.worker.Worker, logging to /export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-node3.out
17. [hadoop@node1 sbin]$ jps
18. 39952 Jps
19. 37553 SecondaryNameNode
20. 38978 WebAppProxyServer
21. 36902 NameNode
22. 39127 Master
23. 39143 VersionInfo
24. 38537 NodeManager
25. 37118 DataNode
26. 38335 ResourceManager
27. [hadoop@node1 sbin]$ spark-sql
28. 24/12/04 22:20:18 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
29. 24/12/04 22:20:20 WARN HiveConf: HiveConf of name hive.metastore.event.db.notification.api.auth does not exist
30. 24/12/04 22:20:20 WARN HiveConf: HiveConf of name hive.spark.client.jar does not exist
31. Spark master: spark://node1:7077, Application Id: app-20241204222029-0000
32. spark-sql (default)> use demo1;

复制代码

 

（2）在spark-sql中尝试一下写代码

任意选择一个数据库使用吧

1. use demo1;

复制代码

1. -- 创建一个新表
2. CREATE TABLE employees (
3.   id INT,
4.   name STRING,
5.   salary DOUBLE
6. );

复制代码

1. -- 插入单条记录
2. INSERT INTO employees VALUES (4, 'Alice', 1300);

复制代码

1. -- 插入多条记录
2. INSERT INTO employees VALUES
3. (5, 'Bob', 1400),
4. (6, 'Charlie', 1100);

复制代码

1. -- 查询表中的所有数据
2. SELECT * FROM employees;

复制代码

1. -- 删除表
2. DROP TABLE IF EXISTS employees;

复制代码

效果如下

1. spark-sql (default)> use demo1;
2. Time taken: 9.682 seconds
3. spark-sql (demo1)> -- 创建一个新表
4. spark-sql (demo1)> CREATE TABLE employees (
5.                  >   id INT,
6.                  >   name STRING,
7.                  >   salary DOUBLE
8.                  > );
9. 24/12/04 22:22:50 WARN ResolveSessionCatalog: A Hive serde table will be created as there is no table provider specified. You can set spark.sql.legacy.createHiveTableByDefault to false so that native data source table will be created instead.
10. [TABLE_OR_VIEW_ALREADY_EXISTS] Cannot create table or view `demo1`.`employees` because it already exists.
11. Choose a different name, drop or replace the existing object, or add the IF NOT EXISTS clause to tolerate pre-existing objects.
12. spark-sql (demo1)> -- 删除表
13. spark-sql (demo1)> DROP TABLE IF EXISTS employees;
14. Time taken: 4.462 seconds
15. spark-sql (demo1)> -- 创建一个新表
16. spark-sql (demo1)> CREATE TABLE employees (
17.                  >   id INT,
18.                  >   name STRING,
19.                  >   salary DOUBLE
20.                  > );
21. 24/12/04 22:23:29 WARN ResolveSessionCatalog: A Hive serde table will be created as there is no table provider specified. You can set spark.sql.legacy.createHiveTableByDefault to false so that native data source table will be created instead.
22. 24/12/04 22:23:29 WARN SessionState: METASTORE_FILTER_HOOK will be ignored, since hive.security.authorization.manager is set to instance of HiveAuthorizerFactory.
23. Time taken: 1.541 seconds
24. spark-sql (demo1)> -- 插入单条记录
25. spark-sql (demo1)> INSERT INTO employees VALUES (4, 'Alice', 1300);
26. Time taken: 15.817 seconds
27. spark-sql (demo1)> -- 插入多条记录
28. spark-sql (demo1)> INSERT INTO employees VALUES
29.                  > (5, 'Bob', 1400),
30.                  > (6, 'Charlie', 1100);
31. Time taken: 10.018 seconds
32. spark-sql (demo1)> -- 查询表中的所有数据
33. spark-sql (demo1)> SELECT * FROM employees;
34. 4       Alice   1300.0
35. 5       Bob     1400.0
36. 6       Charlie 1100.0
37. Time taken: 5.835 seconds, Fetched 3 row(s)
38. spark-sql (demo1)> -- 删除表
39. spark-sql (demo1)> DROP TABLE IF EXISTS employees;
40. Time taken: 0.784 seconds
41. spark-sql (demo1)>

复制代码

 

到这里，基本上就已经乐成了！ 
（3）关闭全部进程代码

先ctrl+C退出spark-sql
cd /export/server/spark-3.4.4-bin-hadoop3/sbin
./stop-all.sh
cd
stop-yarn.sh
stop-dfs.sh
jps
再通过kill -9 命令把RunJar进程给关闭掉

1. cd /export/server/spark-3.4.4-bin-hadoop3/sbin
2. ./stop-all.sh
3. cd
4. stop-yarn.sh
5. stop-dfs.sh
6. jps

复制代码

效果如下

1. Time taken: 0.784 seconds
2. spark-sql (demo1)> [hadoop@node1 sbin]$
3. [hadoop@node1 sbin]$ cd /export/server/spark-3.4.4-bin-hadoop3/sbin
4. [hadoop@node1 sbin]$ ./stop-all.sh
5. node2: stopping org.apache.spark.deploy.worker.Worker
6. node3: stopping org.apache.spark.deploy.worker.Worker
7. stopping org.apache.spark.deploy.master.Master
8. [hadoop@node1 sbin]$ cd
9. [hadoop@node1 ~]$ stop-yarn.sh
10. Stopping nodemanagers
11. Stopping resourcemanager
12. Stopping proxy server [node1]
13. [hadoop@node1 ~]$ stop-dfs.sh
14. Stopping namenodes on [node1]
15. Stopping datanodes
16. Stopping secondary namenodes [node1]
17. [hadoop@node1 ~]$ jps
18. 64996 Jps
19. 39039 RunJar
20. [hadoop@node1 ~]$ kill -9 39039
21. [hadoop@node1 ~]$ jps
22. 66159 Jps
23. [1]+  Killed                  nohup /export/server/hive/bin/hive --service metastore >> /export/server/hive/logs/metastore.log 2>&1
24. [hadoop@node1 ~]$ jps
25. 66219 Jps
26. [hadoop@node1 ~]$

复制代码

4.参考文章

（1）黑马大数据学习条记4-Hive摆设和基本操纵_黑马大数据 hive条记-CSDN博客
（2）spark的安装设置_spark基本设置-CSDN博客
（3）Scala设置教程_统信 scala-CSDN博客
（4）大数据_蓝净云的博客-CSDN博客
5.补充条记

（1）Hive 3.x版本通常会主动处理与Spark的集成

vi /export/server/apache-hive-3.1.3-bin/bin/hive 为什么我的hive文件里面没有这一行sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar`
在 Hive 3.x 版本中，`sparkAssemblyPath` 这一行并不是尺度的设置项。因此，你在 `hive` 启动脚本中没有看到这行设置是完全正常的。
### 为什么没有这行设置？
1. **Hive 版本更新**：从 Hive 2.x 到 Hive 3.x 的版本更新中，Hive 与 Spark 的集成方式发生了变革。特别是对于 Spark 2.x 及之后的版本，Spark 与 Hive 的集成不再依赖于传统的 `spark-assembly` JAR 文件。`spark-assembly` 是 Spark 1.x 版本的一个紧张文件，在 Spark 2.x 及以后版本中，Spark 被重新架构，`spark-assembly` 文件已被拆分为多个 JAR 文件，因此不再需要在 Hive 启动脚本中通过 `sparkAssemblyPath` 来加载它。
2. **Hive 集成 Spark 的方式**：在 Hive 3.x 版本中，Spark 通过 `hive-site.xml` 和其他设置文件进行集成，而不再需要在 Hive 启动脚本中显式地指定 Spark 的 JAR 文件路径。Spark 会根据环境变量或设置文件主动加载所需的 JAR 文件。
### 解决方案
如果你盼望在 Hive 中集成 Spark，并且需要 Spark 的相干设置，可以通过以下方法进行设置：
1. **确保 Hive 设置文件准确**：
   - 在 `hive-site.xml` 中设置与 Spark 相干的参数，尤其是 Spark SQL 引擎和 Metastore 设置。
2. **设置 `SPARK_HOME` 环境变量**：
   - 确保你的 Hive 环境能够找到准确的 Spark 设置，可以通过设置环境变量 `SPARK_HOME` 来指定 Spark 的安装路径。
3. **添加 Spark JAR 到 `SPARK_CLASSPATH`**：
   - 如果你确实需要手动指定 Spark 的 JAR 文件（例如，如果 Spark 设置文件没有被主动加载），可以在 `spark-env.sh` 中设置 `SPARK_CLASSPATH` 来指定 Spark JAR 文件的路径：
   ```bash
   export SPARK_CLASSPATH=/path/to/spark/jars/*.jar
   ```
4. **启动 Hive 与 Spark 联合的服务**：
   - 启动 Spark 时可以通过 `spark-submit` 或 `spark-sql` 来运行 Spark SQL 查询，并确保 Hive Metastore 已经启动。
### 如何查抄 Hive 与 Spark 集成是否正常
1. **查抄 Hive Metastore 是否正常运行**：
   你可以通过命令检察 Hive Metastore 服务是否启动乐成：
   ```bash
   hive --service metastore
   ```
2. **测试 Hive 和 Spark 的毗连**：
   在 `spark-sql` 中执行以下命令，查抄 Spark 可否正常读取 Hive 数据库：
   ```bash
   spark-sql --conf spark.sql.warehouse.dir=/path/to/hive/warehouse
   ```
3. **检察 Spark 的 JAR 文件路径**：
   确保 Spark 的全部必要 JAR 文件都在 Spark 的 `jars` 目录下，可以使用以下命令列出 Spark 中的全部 JAR 文件：
   ```bash
   ls $SPARK_HOME/jars
   ```
### 总结
在 Hive 3.x 版本中，`sparkAssemblyPath` 的设置项已经不再使用，而是通过设置文件和环境变量来管理 Spark 与 Hive 的集成。如果你需要手动设置 Spark 的 JAR 文件路径，可以通过 `SPARK_CLASSPATH` 环境变量大概在 `spark-env.sh` 中指定。

（2）之前遇到的报错

[hadoop@node1 sbin]$ ./start-all.sh starting org.apache.spark.deploy.master.Master, logging to /export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-node1.out node3: starting org.apache.spark.deploy.worker.Worker, logging to /export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-node3.out node2: starting org.apache.spark.deploy.worker.Worker, logging to /export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-node2.out [hadoop@node1 sbin]$
您已经乐成执行了 `./start-all.sh` 脚原来启动 Spark 集群。根据输出信息：
```
starting org.apache.spark.deploy.master.Master, logging to /export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-node1.out
node3: starting org.apache.spark.deploy.worker.Worker, logging to /export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-node3.out
node2: starting org.apache.spark.deploy.worker.Worker, logging to /export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-node2.out
```
分析：
- **Master** 节点已经启动，并且日志文件 `spark-hadoop-org.apache.spark.deploy.master.Master-1-node1.out` 已经开始记录 Master 进程的日志。
- **Worker** 节点也在 `node2` 和 `node3` 上启动，并且相应的日志文件已经天生。
### 接下来您可以做以下几步来验证集群是否正常启动：
#### 1. **查抄 Master 节点状态**
您可以通过访问 Spark Master UI 来查抄 Master 节点是否正常启动。默认情况下，Spark Master 的 Web UI 运行在 `7077` 端口。您可以访问以下 URL：
```
http://node1:8080
```
这是 Spark Master 的 Web UI，您应该能看到集群状态、Worker 节点以及其他信息。如果页面能够正常加载且表现了 Worker 节点的状态（如 `node2` 和 `node3`），分析 Master 节点和 Worker 节点正常工作。
#### 2. **查抄 Worker 节点状态**
您还可以查抄各个 Worker 节点的 Web UI 来检察其状态。默认情况下，Spark Worker 的 Web UI 运行在 `8081` 端口。您可以访问以下 URL：
```
http://node2:8081
http://node3:8081
```
如果 Worker 节点也表现正常并且没有错误信息，那么分析 Worker 节点已乐成参加集群。
#### 3. **检察日志文件**
检察日志文件以确保没有错误：
- **Master 节点日志**：  
  `/export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-node1.out`
- **Worker 节点日志**：  
  `/export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-node2.out`  
  `/export/server/spark-3.4.4-bin-hadoop3/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-node3.out`
如果日志中有错误信息，可能需要根据日志内容进一步诊断问题。
#### 4. **提交 Spark 作业**
您还可以提交一个简单的 Spark 作业来测试集群是否正常运行。例如，您可以使用以下命令提交一个简单的 Spark 程序：
```bash
spark-submit --class org.apache.spark.examples.SparkPi --master spark://node1:7077 $SPARK_HOME/examples/jars/spark-examples_2.12-3.4.4.jar 10
```
这将提交一个计算 Pi 值的示例作业。如果集群正常，作业应该能够运行，并且您可以看到结果。
### 总结：
- 确认通过 Web UI (`http://node1:8080` 和 `http://node2:8081`, `http://node3:8081`) 查抄 Spark 集群状态。
- 检察日志文件确保没有错误。
- 通过提交简单的作业来测试集群的可用性。
如果您在过程中遇到任何问题或有其他问题，随时可以向我询问！
（3）设置的txt参考

1.进入hive安装目录conf目录，修改hive-site.xml
cd /export/server/apache-hive-3.1.3-bin/conf/
vi hive-site.xml
添加如下内容：
<property>
    <name>hive.spark.client.jar</name>
    <value>${SPARK_HOME}/lib/spark-assembly-*.jar</value>
</property>
2.拷贝hive-site.xml到/export/server/spark-3.4.4-bin-hadoop3/conf
cp /export/server/apache-hive-3.1.3-bin/conf/hive-site.xml /export/server/spark-3.4.4-bin-hadoop3/conf/
scp /export/server/apache-hive-3.1.3-bin/conf/hive-site.xml node2:/export/server/spark-3.4.4-bin-hadoop3/conf/
scp /export/server/apache-hive-3.1.3-bin/conf/hive-site.xml node3:/export/server/spark-3.4.4-bin-hadoop3/conf/
3.拷贝MYSQL驱动到/export/server/spark-3.4.4-bin-hadoop3/jars
cd /export/server/apache-hive-3.1.3-bin/lib/
cp /export/server/apache-hive-3.1.3-bin/lib/mysql-connector-java-5.1.34.jar /export/server/spark-3.4.4-bin-hadoop3/jars/

scp /export/server/spark-3.4.4-bin-hadoop3/jars/mysql-connector-java-5.1.34.jar node2:/export/server/spark-3.4.4-bin-hadoop3/jars/
scp /export/server/spark-3.4.4-bin-hadoop3/jars/mysql-connector-java-5.1.34.jar node3:/export/server/spark-3.4.4-bin-hadoop3/jars/
4.在全部节点/export/server/spark-3.4.4-bin-hadoop3/conf/spark-env.sh 文件中设置 MySQL 驱动
vi /export/server/spark-3.4.4-bin-hadoop3/conf/spark-env.sh
添加如下内容：
export SPARK_CLASSPATH=/export/server/spark-3.4.4-bin-hadoop3/jars/mysql-connector-java-5.1.34.jar
分发
scp /export/server/spark-3.4.4-bin-hadoop3/conf/spark-env.sh node2:/export/server/spark-3.4.4-bin-hadoop3/conf/
scp /export/server/spark-3.4.4-bin-hadoop3/conf/spark-env.sh node3:/export/server/spark-3.4.4-bin-hadoop3/conf/
5.修改日志级别，在各节点：
cp /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties.template /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties
vi /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties

在文件中找到log4j2.rootCategory的设置，并将其修改为：
原来的
rootLogger.level = info
rootLogger.appenderRef.stdout.ref = console
把原来的谁人注释
再添加以下内容：
rootLogger.level = warn
rootLogger.appenderRef.console.ref = console
再分发
scp /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties node2:/export/server/spark-3.4.4-bin-hadoop3/conf/
scp /export/server/spark-3.4.4-bin-hadoop3/conf/log4j2.properties node3:/export/server/spark-3.4.4-bin-hadoop3/conf/
6.启动该启动的，访问spark-sql
su - hadoop
start-dfs.sh
start-yarn.sh
nohup /export/server/hive/bin/hive --service metastore >> /export/server/hive/logs/metastore.log 2>&1 &
cd /export/server/spark-3.4.4-bin-hadoop3/sbin
./start-all.sh
jps
spark-sql
7.在spark-sql中尝试一下写代码
use demo1;
-- 创建一个新表
CREATE TABLE employees (
  id INT,
  name STRING,
  salary DOUBLE
);
-- 插入单条记录
INSERT INTO employees VALUES (4, 'Alice', 1300);
-- 插入多条记录
INSERT INTO employees VALUES
(5, 'Bob', 1400),
(6, 'Charlie', 1100);
-- 查询表中的全部数据
SELECT * FROM employees;
-- 删除表
DROP TABLE IF EXISTS employees;

 


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。