ToB企服应用市场:ToB评测及商务社交产业平台

标题: 【hive】- 使用insert into insert overwrite插入数据到静态分区、动态分区 [打印本页]
作者: 徐锦洪    时间: 2024-12-27 16:37
标题: 【hive】- 使用insert into insert overwrite插入数据到静态分区、动态分区
  2. ### 静态分区插入数据
  5. * insert into，在city\_code=‘200’,cur\_day='20231111’分区下追加数据。
复制代码
insert into table test_1
partition(city_code=‘200’,cur_day=‘20231111’)
select
t.id,
t.name,
t.classes,
t.scores
from test_1_tmp t where city_code=‘200’
;
  2. * insert overwrite，删除在city\_code=‘200’,cur\_day='20231111’分区下数据，重新写入数据。
复制代码
insert overwrite table test_1
partition(city_code=‘200’,cur_day=‘20231111’)
select
t.id,
t.name,
t.classes,
t.scores
from test_1_tmp t where city_code=‘200’
;
  2. ### 动态分区插入数据
  5. * insert into / insert overwrite
复制代码
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert into table test_1
partition(city_code,cur_day)
select
t.id,
t.name,
t.classes,
t.scores,
t.city_code,
t.cur_day
from test_1_tmp t
;
  1. [/code] set hive.exec.dynamic.partition=true;
  2. set hive.exec.dynamic.partition.mode=nonstrict;
  3. insert overwrite table test_1
  4. partition(city_code,cur_day)
  5. select
  6. t.id,
  7. t.name,
  8. t.classes,
  9. t.scores,
  10. t.city_code,
  11. t.cur_day
  12. from test_1_tmp t
  13. ;
  14. [code]
  16. >
  17. > insert into table 插入动态分区，如果被插入表原来就有该分区，则追加插入数据；否则就正常插入数据。  
  18. >  insert overwrite table 插入动态分区，如果被插入表原来就有该分区，删除原来该分区下数据，重新插入；否则就正常插入数据。
  19. >
  20. >
  21. >
  24. **举例：**
  27. 未将test\_2\_tmp数据插入到test\_1时，test\_1表的数据情况：
复制代码
select * from test_1;
  2. ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/cf1c550025ab41f2944313390460fd51.png)
  5. 表test\_2\_tmp的情况：
复制代码
desc test_2_tmp;
±-----------±-----------±---------+
| col_name | data_type | comment |
±-----------±-----------±---------+
| id | string | |
| name | string | |
| classes | string | |
| scores | int | |
| city_code | string | |
| cur_day | string | |
±-----------±-----------±---------+
  1. [/code] select * from test_2_tmp;
  2. [code]
  3. ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/4d6024c46985404692f9fb81a4adbe1a.png)
  6. 用insert overwrite table重写写入（city\_code='200’与cur\_day='20231111’分区）和（city\_code='763’与cur\_day='20231112’分区），如下：
复制代码
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table test_1
partition(city_code,cur_day)
select
t.id,
t.name,
t.classes,
t.scores,
t.city_code,
t.cur_day
from test_2_tmp t
;
select * from test_1;
  2. ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/6fb8c66a1df144529022ffcd59d3abeb.png)
  6. >
  7. > **注意：**
  8. >
  9. >
  10. >
  14. >
  15. > 1、hive支持全动态分区，但是在使用前必须设置以下参数：  
  16. >  set hive.exec.dynamic.partition=true;  
  17. >  set hive.exec.dynamic.partition.mode=nonstrict;  
  18. >  2、字段和目标表动态分区的对应关系是由字段顺序决定，并不是由列名称决定的。
  19. >
  20. >
  21. >
  25. >
  26. > 3、向动态分区插入数据时，动态分区必须在select列表中，否则会执行失败。
  27. >
  28. >
  29. >
复制代码
insert into table test_1
partition(city_code,cur_day)
select
t.id,
t.name,
t.classes,
t.scores
from test_1_tmp t
;
  3. 报错：
复制代码
Error: Error while compiling statement: FAILED: SemanticException [Error 10044]: Line 1:18 Cannot insert into target table because column number/types are different ‘cur_day’: Table insclause-0 has 6 columns, but query has 4 columns. (state=42000,code=10044)
  2. ### 动静混合分区插入数据
  5. * insert into / insert overwrite
复制代码
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=strict;
insert into table test_1
partition(city_code=‘763’,cur_day)
select
t.id,
t.name,
t.classes,
t.scores,
t.cur_day
from test_1_tmp t
;
  1. [/code] set hive.exec.dynamic.partition=true;
  2. set hive.exec.dynamic.partition.mode=strict;
  3. insert overwrite table test_1
  4. partition(city_code=‘763’,cur_day)
  5. select
  6. t.id,
  7. t.name,
  8. t.classes,
  9. t.scores,
  10. t.cur_day
  11. from test_1_tmp t
  12. ;
  13. [code]
  15. >
  16. > insert into table 插入动静混合分区，如果被插入表原来就有该分区，则追加插入数据；否则就正常插入数据。  
  17. >  insert overwrite table 插入动静混合分区，如果被插入表原来就有该分区，删除原来该分区下数据，重新插入；否则就正常插入数据。
  18. >
  19. >
  20. >
  23. **举例：**
  26. 未将test\_2\_tmp数据插入到test\_1时，test\_1表的数据情况：
复制代码
select * from test_1;
  2. ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/cf1c550025ab41f2944313390460fd51.png)
  5. 表test\_2\_tmp的情况：
复制代码
select * from test_2_tmp;
  2. ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/4d6024c46985404692f9fb81a4adbe1a.png)
  5. 用insert into追加插入（city\_code=‘763’,cur\_day）分区的情况，如下：
复制代码
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=strict;
insert into table test_1
partition(city_code=‘763’,cur_day)
select
t.id,
t.name,
t.classes,
t.scores,
t.cur_day
from test_2_tmp t
;
  2. ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/8771bb4e46cc498aaa3e2602a0bb8553.png)
  5. 用insert overwrite重写（city\_code=‘763’,cur\_day）分区的情况，如下：
复制代码
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=strict;
insert overwrite table test_1
partition(city_code=‘763’,cur_day)
select
t.id,
t.name,
t.classes,
t.scores,
t.cur_day
from test_2_tmp t
;
  2. ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a9a9e1e5d2f74d6e9622ea6a35b1f1b6.png)
  6. >
  7. > **注意：** 动静态分区混合插入，静态分区要在动态分区前面。
  8. >
  9. >
  10. >
复制代码
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=strict;
insert into table test_1
partition(cur_day,city_code=‘763’)
select
t.id,
t.name,
t.classes,
t.scores,
t.cur_day
from test_1_tmp t
;
  3. 报错：
复制代码
Error: Error while compiling statement: FAILED: ValidationFailureSemanticException summary_fz_province.test_1: Partition spec {city=763, cur_day=null} contains non-partition columns (state=42000,code=40000)
[code][/code]
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4