Spark-SQL与Hive的毗连及数据处理全解析
Spark-SQL与Hive的毗连及数据处理全解析在大数据处理领域，Spark-SQL和Hive都是重要的工具。今天就来聊聊Spark-SQL如何毗连Hive以及相关的数据处理操作。
Spark-SQL毗连Hive有多种方式。内嵌Hive固然使用简单，直接就能用，但在现实生产中很少有人用。更多人选择外部Hive，要在spark-shell中毗连外部已摆设好的Hive，需要把hive-site.xml拷贝到conf/目次下，将其中的localhost改为现实节点名，还要把MySQL驱动copy到jars/目次下，同时把core-site.xml和hdfs-site.xml也拷贝到conf/目次，最后重启spark-shell。
别的，还可以运行Spark beeline和Spark-SQL CLI。Spark beeline是基于HiveServer2实现的Thrift服务，能无缝兼容HiveServer2，摆设好Spark Thrift Server后，用hive的beeline就能访问。Spark-SQL CLI则方便在本地运行Hive元数据服务和执行查询任务。
在代码操作Hive时，要先导入相关依靠，把hive-site.xml拷贝到项目的resources目次中，再进行代码实现。如果遇到权限问题，可以通过设置系统属性办理。
Spark-SQL在数据加载与生存方面也有通用方式。加载数据用spark.read.load，可指定数据格式，好比“csv”“jdbc”“json”等；生存数据用df.write.save，同样能指定格式，还能设置生存模式。像Parquet是Spark SQL默认的数据源格式，JSON数据能主动推测结构，CSV可以配置相关信息读取，MySQL则通过JDBC进行数据的读取和写入。把握这些知识，能资助我们在大数据项目中更高效地处理数据。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]