Hive中数组array的相干应用

• array()：创建一个数组。split(string,delimiter)：按指定字符分隔字符串成数组。
  1. select array(1,3,5) c1,split('a,c,b',',') c2;
  2. +----------+----------------+--+
  3. |    c1    |       c2       |
  4. +----------+----------------+--+
  5. | [1,3,5]  | ["a","c","b"]  |
  6. +----------+----------------+--+

  复制代码
  
  
• array[int]：获取数组元素。角标从0开始，越界返回NULL。
  1. select array(1,3,5)[0] c1,array('a','b','c')[3] c2;
  2. +-----+-------+--+
  3. | c1  |  c2   |
  4. +-----+-------+--+
  5. | 1   | NULL  |
  6. +-----+-------+--+

  复制代码
  
  
• array_max(array)：返回数组中的最大值。
  1. select array_max(array(1,3,5)) c1,array_max(array('a','b','c')) c2;
  2. +-----+-----+--+
  3. | c1  | c2  |
  4. +-----+-----+--+
  5. | 5   | c   |
  6. +-----+-----+--+

  复制代码
  
  
• array_min(array)：返回数组中的最小值。
  1. select array_min(array(1,3,5)) c1,array_min(array('a','b','c')) c2;
  2. +-----+-----+--+
  3. | c1  | c2  |
  4. +-----+-----+--+
  5. | 1   | a   |
  6. +-----+-----+--+

  复制代码
  
  
• array_join(array, delimiter)：使用指定的分隔符将数组中的元素连接成一个字符串。与concat_ws函数功能相同，留意参数顺序。
  1. select array_join(array(1,3,5),'_') c1,concat_ws('#',array('a','b','c')) c2;
  2. +--------+--------+--+
  3. |   c1   |   c2   |
  4. +--------+--------+--+
  5. | 1_3_5  | a#b#c  |
  6. +--------+--------+--+

  复制代码
  
  
• array_sort(array)：返回一个按升序排序的数组。
  1. select array_sort(array(1,5,3)) c1,array_sort(array('c','b','a')) c2;
  2. +----------+----------------+--+
  3. |    c1    |       c2       |
  4. +----------+----------------+--+
  5. | [1,3,5]  | ["a","b","c"]  |
  6. +----------+----------------+--+

  复制代码
  
  
• split(reverse(concat_ws(delimiter,array_sort(array))),delimiter)：按降序排序单字符元素数组。reverse(string)：反转字符串反转。思路：a.将数组升序排序；b.转成字符串；c.反转字符串；d.将字符串拆成数组。
  
  1. select split(reverse(concat_ws('#',array_sort(array('c','a','b')))),'#') c1;
  2. +----------------+--+
  3. |       c1       |
  4. +----------------+--+
  5. | ["c","b","a"]  |
  6. +----------------+--+

  复制代码
  
  
• 按降序分列长字符元素数组。explode(array)：炸裂数组（列转行）；row_number()over()：开窗排序函数；collect_list()：收集数据成数组（列转行）。思路：a.炸裂数组；b.按照id开窗分组为元素降序排序，并与元素拼接；c.按照id分组，收集全部元素，留意要用collect_list（不去重），不能用collect_set（去重）并拼接成字符串；d.去掉排序序号和连接符之后再拆分成数组。
  
  1. select keyid,split(regexp_replace(concat_ws('\073',collect_list(e_str)),'(^|\073)([0-9]+_)','$1'),'\073') a
  2. from (
  3.   select keyid,concat_ws('_',row_number()over(partition by keyid order by e desc),e) e_str
  4.   from (
  5.     select keyid,explode(a) e
  6.     from (select 1 keyid,array('dbc','aef','ghij','aef','ghij','aef','ghij','aef','ghij','aef','ghij') a) t0
  7.     ) t1
  8.   ) t2
  9. group by keyid;
  12. +--------+---------------------------------------------------------------------------+--+
  13. | keyid  |                                     a                                     |
  14. +--------+---------------------------------------------------------------------------+--+
  15. | 1      | ["ghij","ghij","ghij","ghij","ghij","dbc","aef","aef","aef","aef","aef"]  |
  16. +--------+---------------------------------------------------------------------------+--+

  复制代码
  
  
• array_contains(array, value)：判定数组中是否包含指定的值。包含返回true，否则返回false。
  
  1. select array_contains(array(1,2,3), 2) c1,array_contains(array('a','b','c'), 'd') c2;
  2. +-------+--------+--+
  3. |  c1   |   c2   |
  4. +-------+--------+--+
  5. | true  | false  |
  6. +-------+--------+--+

  复制代码
  
  
• array_position(array, value)：返回value在数组中的位置，如果不存在则返回0。留意位置和角标差别，角标=位置-1。
  
  1. select array_position(array(1,2,3), 4) c1,array_position(array('a','b','c'), 'a') c2;
  2. +-----+-----+--+
  3. | c1  | c2  |
  4. +-----+-----+--+
  5. | 0   | 1   |
  6. +-----+-----+--+

  复制代码
  
  
• array_remove(array, value)：去除数组中的全部value元素。
  
  1. select array_remove(array(1,2,3,2), 2) c1,array_remove(array('a','b','c'), 'd') c2;
  2. +--------+----------------+--+
  3. |   c1   |       c2       |
  4. +--------+----------------+--+
  5. | [1,3]  | ["a","b","c"]  |
  6. +--------+----------------+--+

  复制代码
  
  
• array_except(array1, array2)：在数组array1中去撤除全部数组array2中的元素（数组array1比数组array2多的元素）。
  
  1. select array_except(array(1,2,3,2),array(2,3)) c1,array_except(array('a','b','c'),array('d')) c2;
  2. +------+----------------+--+
  3. |  c1  |       c2       |
  4. +------+----------------+--+
  5. | [1]  | ["a","b","c"]  |
  6. +------+----------------+--+

  复制代码
  
  
• array_intersect(array1, array2)：返回一个包含全部同时在数组array1和数组array2中的元素的数组（数组array1和数组array2的交集元素)。
  
  1. select array_intersect(array(1,2,3,2),array(2,3)) c1,array_intersect(array('a','b','c'),array('d')) c2;
  2. +--------+-----+--+
  3. |   c1   | c2  |
  4. +--------+-----+--+
  5. | [2,3]  | []  |
  6. +--------+-----+--+

  复制代码
  
  
• split(concat_ws(delimiter,array1,array2,array3),delimiter)：把相同范例的多个数组合并成一个数组。
  
  1. select split(concat_ws('\073',array('a','c'),array('b','c'),array('d')),'\073') c1;
  2. +------------------------+--+
  3. |           c1           |
  4. +------------------------+--+
  5. | ["a","c","b","c","d"]  |
  6. +------------------------+--+

  复制代码
  
  
• 在把数组array插入到hive表（有array范例字段）中时，如果报错，有可能是数组中没有元素。
  
  1. select id,collect_set(b) b_ar
  2. from (
  3. select 1 id, null b
  4. union
  5. select 1 id, null b
  6. ) t
  7. group by id;
  9. +-----+-------+--+
  10. | id  | b_ar  |
  11. +-----+-------+--+
  12. | 1   | []    |
  13. +-----+-------+--+

  复制代码
  解决办法：a.判定数组元素个数，size(array)=0时，直接插入NULL值；
  
  1. select id,if(size(collect_set(b))=0,null,collect_set(b)) b_ar
  2. from (
  3. select 1 id, null b
  4. union
  5. select 1 id, null b
  6. ) t
  7. group by id;
  9. +-----+-------+--+
  10. | id  | b_ar  |
  11. +-----+-------+--+
  12. | 1   | NULL  |
  13. +-----+-------+--+

  复制代码
  解决办法：b.拼接成字符串（默认变成""），再拆分成数组。
  
  1. select id,concat_ws('\073',(collect_set(b))) b_str
  2. from (
  3. select 1 id, null b
  4. union
  5. select 1 id, null b
  6. ) t
  7. group by id;
  9. +-----+--------+--+
  10. | id  | b_str  |
  11. +-----+--------+--+
  12. | 1   |        |
  13. +-----+--------+--+
  16. select id,split(concat_ws('\073',(collect_set(b))),'\073') b_ar
  17. from (
  18. select 1 id, null b
  19. union
  20. select 1 id, null b
  21. ) t
  22. group by id;
  24. +-----+-------+--+
  25. | id  | b_ar  |
  26. +-----+-------+--+
  27. | 1   | [""]  |
  28. +-----+-------+--+

  复制代码
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。