IT评测·应用市场-qidao123.com

标题: hive的存储格式 [打印本页]
作者: 梦见你的名字    时间: 2024-12-27 12:37
标题: hive的存储格式
1） 四种存储格式


hive的存储格式分为两大类：一类纯文本文件，一类是二进制文件存储。
Hive支持的存储数据的格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET
第一类：纯文本文件存储
textfile: 纯文本文件存储格式，不压缩，也是hive的默认存储格式，磁盘开销大，数据解析开销大
第二类：二进制文件存储
- sequencefile:
会压缩，不能使用load方式加载数据
- parquet:
会压缩，不能使用load方式加载数据
- rcfile:
会压缩，不能load。查询性能高，写操纵慢，所需内存大，计算量大。此格式为行列混合存储，hive在该格式下，会尽量将附近的行和列的块存储到一起。
- orcfile:rcfile的升级版。
2）列式存储和行式存储


TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的;
ORC和PARQUET是基于列式存储的。
行式存储：查找某一条整行数据比较快
列式存储：查找某个字段比较快 select name from user;
 修改hive的默认存储格式：
  1. <property>
  2.   <name>hive.default.fileformat</name>
  3.   <value>TextFile</value>
  4.   <description>
  5.     Expects one of [textfile, sequencefile, rcfile, orc].
  6.     Default file format for CREATE TABLE statement. Users can explicitly override it by CREATE TABLE ... STORED AS [FORMAT]
  7.   </description>
  8. </property>
  10. 也可以使用set方式修改：
  11. set hive.default.fileformat=TextFile
复制代码
3)实操一下：

首先将一个18.1M的数据上传至 /home/hivedata/,这个文件叫做stocks.log
textfile范例演示：

  1. create table stocks_1 (
  2.   track_time string,
  3.   url string,
  4.   session_id string,
  5.   referer string,
  6.   ip string,
  7.   end_user_id string,
  8.   city_id string
  9. )
  10. row format delimited fields terminated by '\t'
  11. stored as textfile;
  13. load data local inpath '/home/hivedata/stocks.log' into table stocks_1;
  14. 在linux的命令行上使用hdfs dfs -put方法去上传到指定目录下。
复制代码
sequencefile 的使用

  1. create external table if not exists stocks_seq_1 (
  2.   track_time string,
  3.   url string,
  4.   session_id string,
  5.   referer string,
  6.   ip string,
  7.   end_user_id string,
  8.   city_id string
  9. )
  10. row format delimited fields terminated by '\t'
  11. stored as sequencefile;
  13. 由于不能load数据，从普通表中查询出来插入进入。
  14. 使用insert into的方式加载数据
  15. insert into stocks_seq_1 select * from stocks_1 ;
  16. 或者使用克隆的方式：
  17. create table stocks_seq_2 stored as sequencefile as select * from stocks_1;
复制代码
检察数据，是乱码，说明是二进制文件

parquetfile 范例 

  1. create external table if not exists stocks_parquet (
  2. track_time string,
  3. url string,
  4. session_id string,
  5. referer string,
  6. ip string,
  7. end_user_id string,
  8. city_id string
  9. )
  10. row format delimited
  11. fields terminated by '\t'
  12. stored as parquet;
  14. 使用insert into的方式加载数据
  15. insert into stocks_parquet select * from stocks_1 ;
  16. 或者使用克隆的方式：
  17. create table stocks_parquet_1 stored as parquet as select * from stocks_1;
复制代码
 
 
rcfile范例：

  1. create external table if not exists stocks_rcfile (
  2. track_time string,
  3. url string,
  4. session_id string,
  5. referer string,
  6. ip string,
  7. end_user_id string,
  8. city_id string
  9. )
  10. row format delimited
  11. fields terminated by '\t'
  12. stored as rcfile;
  14. 使用insert into的方式加载数据
  15. insert into stocks_rcfile select * from stocks_1;
  16. 或者使用克隆的方式：
  17. create table stocks_rcfile_2 stored as rcfile as select * from stocks_1;
复制代码

 
 orcfile范例：rcfile的升级版

  1. create external table if not exists stocks_orcfile (
  2. track_time string,
  3. url string,
  4. session_id string,
  5. referer string,
  6. ip string,
  7. end_user_id string,
  8. city_id string
  9. )
  10. row format delimited
  11. fields terminated by ','
  12. stored as orcfile;
  14. 使用insert into的方式加载数据
  15. insert into stocks_orcfile select * from stocks_1;
  16. 或者使用克隆的方式：
  17. create table stocks_orcfile_2 stored as orcfile as select * from stocks_1;
复制代码



免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) Powered by Discuz! X3.4