IT评测·应用市场-qidao123.com

标题: 2023.11.16-hive sql高阶函数lateral view,与行转列,列转行 [打印本页]
作者: 忿忿的泥巴坨    时间: 2024-7-23 05:19
标题: 2023.11.16-hive sql高阶函数lateral view,与行转列,列转行
目录

0.lateral view简介
1.行转列
 需求1:
需求2:
2.列转行
解题思绪:

0.lateral view简介

  hive函数 lateral view 主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表举行笛卡尔积，从而得到明细表。共同UDTF函数使用，一般情况下经常与explode函数搭配，explode的操纵对象（列值）是 ARRAY 大概 MAP ,可以通过 split 函数将 String 范例的列值转成 ARRAY 来处置惩罚。
炸裂函数共同侧视图使用如下
格式:select 原表别名.字段名,侧视图名.字段名 from 原表 原表别名 lateral view explode(要炸开的字段) 侧视图名 as 字段名 ;

1.行转列


-- 数据准备

--建表

  1. create table row2col2(
  3.                          col1 string,
  5.                          col2 string,
  7.                          col3 int
  9. )row format delimited fields terminated by '\t';
复制代码
--加载数据到表中


  1. load data inpath '/input/r2c2.txt' into table row2col2;
复制代码
-- 验证数据

  1. select * from row2col2;
复制代码
 需求1:


需求1: 把原表数据变成以下格式
a b [1,2,3]
c d [4,5,6]

思绪:使用collect_list()函数有序不去重
  2. select
  3.     col1,
  4.     col2,
  5.     collect_list(col3) -- 先将col3收集
  6. from row2col2
  7. group by
  8.     col1, col2;
复制代码

需求2:


需求2: 把原表数据变成以下格式
a b '1-2-3'
c d '4-5-6'
思绪:1,2,3已经知道怎么收集了,可以用concat来将这几个数字与符号-拼接起来
concat_ws()：函数在连接字符串的时间，只要有一个字符串不是NULL，就不会返回NULL。concat_ws()：函数需要指定分隔符。
但concat_ws只支持拼接字符串,所以需要先用cast强转成字符串

  1. select col1,col2,
  2.        concat_ws('-',(collect_list(cast(col3 as string))))
  3. from row2col2
  4. group by col1, col2
  5. ;
复制代码


2.列转行

1.准备数据
  1. --创建表
  2. create table col2row2(
  3.                          col1 string,
  4.                          col2 string,
  5.                          col3 string
  6. )row format delimited fields terminated by '\t';
复制代码
2.加载数据
  1. --加载数据
  2. load data  inpath '/source/c2r2.txt' into table col2row2;
复制代码
3.验证数据
  1. select * from col2row2;
复制代码


解题思绪:

  1. -- 单列数据先切割再炸开
  2. -- explode只能炸一个参数,只能接收数组或映射作为参数
  3. select explode(col3)from col2row2; --报错
  4. --无法直接炸col3字段,因为是字符串类型,并且题中的1,2,3并不是'一个'参数
  6. select split(col3,',') from col2row2;
  7. --用split切割后,会将切割完的数据放进数组里 [""1"",""2"",""3""][""4"",""5"",""6""]
  9. select explode(split(col3,',')) from col2row2;
  10. --得到了数组后,可以用explode来炸了
复制代码

使用lateral view生成终极的表
格式:select 原表别名.字段名,侧视图名.字段名 from 原表 原表别名 lateral view explode(要炸开的字段) 侧视图名 as 字段名 ;
  1. select col2row2.col1 , col2row2.col2 ,c2r.col3_explode
  2. from col2row2
  3. lateral view
  4. explode(split(col3,',')) c2r as col3_explode  --用lv函数造出虚拟表c2r,col3_explode是字段名
  5. ;
复制代码


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) Powered by Discuz! X3.4