离线数据开发流程小案例-图书馆业务数据

梦应逍遥  高级会员 | 2024-8-20 04:43:59 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 245|帖子 245|积分 735

参考

https://blog.csdn.net/m53931422/article/details/103633452
https://www.cnblogs.com/jasonlam/p/7928179.html
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
https://medium.com/@jackgoettle23/building-a-hive-user-defined-function-f6abe92f6e56
https://blog.csdn.net/qq_73339471/article/details/140763754
https://blog.csdn.net/cuichunchi/article/details/109772461
https://blog.csdn.net/weixin_35852328/article/details/86509506
https://cn.vuejs.org/
https://element.eleme.cn/#/zh-CN
https://echarts.apache.org/zh/index.html
https://spring.io/
https://baomidou.com/
本文的视频版本：https://www.bilibili.com/video/BV1itYLe1E8y，解说更具体

数据

图书外借数据图书预约数据读者入馆数据字段说明备注字段说明备注字段说明备注UNIVERSITY_ID学校代码10280UNIVERSITY_ID学校代码UNIVERSITY_ID学校代码10280PATRON_ID读者IDPATRON_ID读者IDPATRON_ID读者IDSTUDENT_GRADE学生年级STUDENT_GRADE学生年级STUDENT_GRADE学生年级PATRON_DEPT读者地点院系PATRON_DEPT读者地点院系PATRON_DEPT读者地点院系PATRON_TYPE读者类型PATRON_TYPE读者类型PATRON_TYPE读者类型LOAN_DATE外借日期20130422OPEN_DATE预约日期20131231VISIT_TIME入馆时间2013-03-2520:54:42LOAN_HOUR外借时间1506OPEN_HOUR预约时间1015VISIT_SUBLIBRARY入馆地点01、02、03、04 - 宝山校区05、06 - 延长校区07、08、09 - 嘉定校区DUE_DATE到期日期20130522REQUEST_DATE预约兴趣期开始日期20131231VISIT_TYPE出馆/入馆无该字段DUE_HOUR到期时间2400END_REQUEST_DATE预约兴趣期竣事日期20140228RETURNED_DATE归还日期20130427HOLD_DATE预约满意日期20140102RETURNED_HOUR归还时间1512END_HOLD_DATE预约保存日期20140109RETURNED_LOCATION归还地点无该字段RECALL_STATUS预约催还状态无该字段RENEWAL_NO续借次数RECALL_DATE催还日期无该字段LASTRENEW_DATE最后续借日期PROCESSING_DAYS满意时间长度无该字段RECALL_DATE催还日期EVENT_TYPE预约类型无该字段RECALL_DUE_DATE催还后应还日期FULFILLED预约需求是否满意Y - 等待中N - 已满意HOLD_DAYS外借天数无该字段PICKUP_LOCATION取书点详见附录1OVERDUE_DAYS逾期天数无该字段SUBLIBRARY图书地点分馆/馆藏地详见附录1SUBLIBRARY图书地点分馆/馆藏地详见附录1ITEM_ID单册唯一记载号ITEM_ID单册唯一记载号ITEM_STATUS单册状态详见附录2ITEM_STATUS单册状态详见附录2ITEM_CALLNO单册索书号ITEM_CALLNO单册索书号PUBLISH_YEAR图书出版年PUBLISH_YEAR图书出版年AUTHOR图书作者AUTHOR图书作者TITLE图书题名TITLE图书题名PRESS图书出版社PRESS图书出版社ISBN图书ISBN号ISBNISBN号ID自动生成序号，主键ID自动生成序号，主键

共 1.25G

共 512MB

共 22.4 MB
乱码和字段乱序缺失

2019 年的外借数据的字符集为非 UTF-8，
在 Linux 上：
  1. [jxd@102 lend_out]$ file -i lend_out_2019.csv
  2. lend_out_2019.csv: text/plain; charset=unknown-8bit
  4. vim 文件后，:set fileencoding=utf-8 设置文件的编码
  6. [jxd@102 lend_out]$ file -i lend_out_2019.csv
  7. lend_out_2019.csv: text/plain; charset=utf-8
复制代码
发现没有办理，不是 Linux 上的乱码，经过排查，其它所有文件在 windows 环境下都为 utf-8 格式，这个文件为 GB2312 编码，利用 notepad++ 打开，设置编码为 utf-8，拷贝全文，新建一个 csv 文件，粘贴，新的 csv 文件的格式就为 utf-8 了。
2019 年外借数据存在缺失 id 字段、字段乱序的情况，导入到 MySQL 中，添加 id 字段，并置为 null （id 字段没有用），以新的字段顺序查询并将依据效果创建新表，再将数据导出为 csv 即可。
2019 年预约数据存在字段乱序情况，用上面的方法处理即可。
csv 的表头问题

每一个 csv 文件的表头都是字段名，导入到 Hive 中会被当作数据，必要删除，在 Linux 中，利用如下命令删除文件的第一行：
  1. sed -i '1d' <fileName>
复制代码
建表以及加载数据

  1. create database shanghai_edu location '/warehouse/shanghai_edu';
  3. // 创建时间维度表
  4. CREATE EXTERNAL TABLE `dim_date`
  5. (
  6.     `date_key`      STRING COMMENT 'id',
  7.     `date_ymd`      STRING COMMENT '日期 yy-MM-dd',
  8.     `date_ch`       STRING COMMENT '中文日期',
  9.     `dim_year`      STRING COMMENT '年',
  10.     `quarter_id`    TINYINT COMMENT '季度数字',
  11.     `quarter_ch`    STRING COMMENT '中文季度',
  12.     `year_month`    STRING comment '年月',
  13.     `dim_month`     STRING comment '月份',
  14.     `dim_day`       STRING COMMENT '一年中的第几天',
  15.     `dim_month_day` STRING COMMENT '一个月中的第几天',
  16.     `dim_week`      STRING COMMENT '一年中的第几周 星期一是星期的第一天',
  17.     `year_week`     STRING COMMENT '年周',
  18.     `dim_week1`     STRING COMMENT '一年中的第几周 星期天是星期的第一天',
  19.     `dim_year1`     STRING COMMENT '对应 dim_week1 的年份',
  20.     `dim_weekday`   STRING COMMENT '一周的中的第几天',
  21.     `weekday_ch`    STRING COMMENT '星期几',
  22.     `holiday_name`  STRING COMMENT '节假日名称',
  23.     `is_day_off`    TINYINT COMMENT '是否放假 1表示放假，0表示不放假 2表示调班'
  24. ) COMMENT '时间维度表'
  25.     ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
  26.     location '/warehouse/shanghai_edu/dim/dim_date';
  28. load data local inpath '/opt/project/shanghai_edu/data/dim/dim_date.csv' into table shanghai_edu.dim_date;
  30. // 创建分场馆维度表
  31. CREATE EXTERNAL TABLE if not exists shanghai_edu.dim_sub_library
  32. (
  33.     `sub_library_or_pickup_location` STRING COMMENT 'sub_library 或 pickup_location',
  34.     `sub_library_location_name`      STRING COMMENT '分场馆所在地址'
  35. ) COMMENT '分场馆维度表'
  36. STORED AS PARQUET
  37. LOCATION '/warehouse/shanghai_edu/dim/dim_sub_library';
  38. // 创建一张存储格式为 csv 的临时表
  39. CREATE TABLE shanghai_edu.csv_table
  40. (
  41.     sub_library_or_pickup_location   STRING,
  42.     sub_library_location_name STRING
  43. )
  44. ROW FORMAT DELIMITED
  45.     FIELDS TERMINATED BY ','
  46.     LINES TERMINATED BY '\n'
  47. STORED AS TEXTFILE;
  48. // 将数据导入到临时表
  49. load data local inpath '/opt/project/shanghai_edu/data/dim/dim_sublibrary.csv' into table shanghai_edu.csv_table;
  50. INSERT overwrite TABLE shanghai_edu.dim_sub_library
  51. SELECT * FROM shanghai_edu.csv_table;
  52. drop table shanghai_edu.csv_table;
  54. // 创建入馆表
  55. CREATE external table `ods_enter`
  56. (
  57.     `university_id`     varchar(100) comment '学校代码 10280',
  58.     `patron_id`         varchar(100) comment '读者ID',
  59.     `student_grade`     varchar(100) comment '学生年级',
  60.     `patron_dept`       varchar(100) comment '读者所在院系',
  61.     `patron_type`       varchar(100) comment '读者类型',
  62.     `visit_time`        varchar(100) comment '入馆时间',
  63.     `visit_sub_library` varchar(100) comment '入馆地点'
  64. )
  65.     COMMENT '入馆表'
  66.     partitioned by (`year` string)
  67.     ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
  68.         WITH SERDEPROPERTIES (
  69.         "separatorChar" = ",",
  70.         "quoteChar" = """,
  71.         "escapeChar" = "\"
  72.         )
  73.     location '/warehouse/shanghai_edu/ods/ods_enter';
  75. load data local inpath '/opt/project/shanghai_edu/data/enter/enter_2013.csv' into table shanghai_edu.ods_enter partition (year = '2013');
  76. load data local inpath '/opt/project/shanghai_edu/data/enter/enter_2014.csv' into table shanghai_edu.ods_enter partition (year = '2014');
  77. load data local inpath '/opt/project/shanghai_edu/data/enter/enter_2015.csv' into table shanghai_edu.ods_enter partition (year = '2015');
  78. load data local inpath '/opt/project/shanghai_edu/data/enter/enter_2016.csv' into table shanghai_edu.ods_enter partition (year = '2016');
  79. load data local inpath '/opt/project/shanghai_edu/data/enter/enter_2017.csv' into table shanghai_edu.ods_enter partition (year = '2017');
  80. load data local inpath '/opt/project/shanghai_edu/data/enter/enter_2018.csv' into table shanghai_edu.ods_enter partition (year = '2018');
  81. load data local inpath '/opt/project/shanghai_edu/data/enter/enter_2019.csv' into table shanghai_edu.ods_enter partition (year = '2019');
  83. // 创建外借表
  84. CREATE external TABLE `ods_lend_out`
  85. (
  86.     `university_id`   varchar(100) comment '学校代码 10280',
  87.     `item_id`         varchar(100) comment '单册唯一记录号',
  88.     `loan_date`       varchar(100) comment '外借日期',
  89.     `sub_library`     varchar(100) comment '图书所在分馆/馆藏地',
  90.     `due_date`        varchar(100) comment '到期日期',
  91.     `loan_hour`       varchar(100) comment '外借时间',
  92.     `due_hour`        varchar(100) comment '到期时间',
  93.     `returned_date`   varchar(100) comment '归还日期',
  94.     `item_status`     varchar(100) comment '单册状态',
  95.     `returned_hour`   varchar(100) comment '归还时间',
  96.     `last_renew_date` varchar(100) comment '最后续借日期',
  97.     `renewal_no`      varchar(100) comment '续借次数',
  98.     `recall_date`     varchar(100) comment '催还日期',
  99.     `item_call_no`    varchar(100) comment '单册索书号',
  100.     `recall_due_date` varchar(100) comment '催还后应还日期',
  101.     `author`          varchar(100) comment '图书作者',
  102.     `publish_year`    varchar(100) comment '图书出版年',
  103.     `press`           varchar(100) comment '图书出版社',
  104.     `title`           varchar(100) comment '图书题名',
  105.     `ISBN`            varchar(100) comment 'isbn',
  106.     `patron_id`       varchar(100) comment '读者ID',
  107.     `patron_type`     varchar(100) comment '读者类型',
  108.     `student_grade`   varchar(100) comment '学生年级',
  109.     `id`              varchar(100) comment 'id',
  110.     `patron_dept`     varchar(100) comment '读者所在院系'
  111. )
  112.     COMMENT '外借表'
  113.     partitioned by (`year` string)
  114.     ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
  115.         WITH SERDEPROPERTIES (
  116.         "separatorChar" = ",",
  117.         "quoteChar" = """,
  118.         "escapeChar" = "\"
  119.         )
  120.     location '/warehouse/shanghai_edu/ods/ods_lend_out';
  122. load data local inpath '/opt/project/shanghai_edu/data/lend_out/lend_out_2013.csv' into table shanghai_edu.ods_lend_out partition (year = '2013');
  123. load data local inpath '/opt/project/shanghai_edu/data/lend_out/lend_out_2014.csv' into table shanghai_edu.ods_lend_out partition (year = '2014');
  124. load data local inpath '/opt/project/shanghai_edu/data/lend_out/lend_out_2015.csv' into table shanghai_edu.ods_lend_out partition (year = '2015');
  125. load data local inpath '/opt/project/shanghai_edu/data/lend_out/lend_out_2016.csv' into table shanghai_edu.ods_lend_out partition (year = '2016');
  126. load data local inpath '/opt/project/shanghai_edu/data/lend_out/lend_out_2017.csv' into table shanghai_edu.ods_lend_out partition (year = '2017');
  127. load data local inpath '/opt/project/shanghai_edu/data/lend_out/lend_out_2018.csv' into table shanghai_edu.ods_lend_out partition (year = '2018');
  128. load data local inpath '/opt/project/shanghai_edu/data/lend_out/lend_out_2019.csv' into table shanghai_edu.ods_lend_out partition (year = '2019');
  130. // 创建预约表
  131. CREATE external table ods_subscribe
  132. (
  133.     `university_id`    varchar(100) comment '学校代码 10280',
  134.     `open_date`        varchar(100) comment '预约日期',
  135.     `open_hour`        varchar(100) comment '预约时间',
  136.     `end_request_date` varchar(100) comment '预约兴趣期结束日期',
  137.     `request_date`     varchar(100) comment '预约兴趣期开始日期',
  138.     `end_hold_date`    varchar(100) comment '预约保留日期',
  139.     `hold_date`        varchar(100) comment '预约满足日期',
  140.     `pickup_location`  varchar(100) comment '取书点',
  141.     `item_status`      varchar(100) comment '单册状态',
  142.     `sub_library`      varchar(100) comment '图书所在分馆/馆藏地',
  143.     `fulfilled`        varchar(100) comment '预约需求是否满足',
  144.     `item_call_no`     varchar(100) comment '单册索书号',
  145.     `item_id`          varchar(100) comment '单册唯一记录号',
  146.     `author`           varchar(100) comment '图书作者',
  147.     `publish_year`     varchar(100) comment '图书出版年',
  148.     `press`            varchar(100) comment '图书出版社',
  149.     `title`            varchar(100) comment '图书题名',
  150.     `ISBN`             varchar(100) comment '图书 ISBN 号',
  151.     `patron_id`        varchar(100) comment '读者 ID',
  152.     `patron_type`      varchar(100) comment '读者类型',
  153.     `student_grade`    varchar(100) comment '学生年级',
  154.     `id`               varchar(100) comment 'id',
  155.     `patron_dept`      varchar(100) comment '读者所在院系'
  156. ) COMMENT '预约表'
  157.     partitioned by (`year` string)
  158.     ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
  159.         WITH SERDEPROPERTIES (
  160.         "separatorChar" = ",",
  161.         "quoteChar" = """,
  162.         "escapeChar" = "\"
  163.         )
  164.     location '/warehouse/shanghai_edu/ods/ods_subscribe';
  166. load data local inpath '/opt/project/shanghai_edu/data/subscribe/subscribe_2013.csv' into table shanghai_edu.ods_subscribe partition (year = '2013');
  167. load data local inpath '/opt/project/shanghai_edu/data/subscribe/subscribe_2014.csv' into table shanghai_edu.ods_subscribe partition (year = '2014');
  168. load data local inpath '/opt/project/shanghai_edu/data/subscribe/subscribe_2015.csv' into table shanghai_edu.ods_subscribe partition (year = '2015');
  169. load data local inpath '/opt/project/shanghai_edu/data/subscribe/subscribe_2016.csv' into table shanghai_edu.ods_subscribe partition (year = '2016');
  170. load data local inpath '/opt/project/shanghai_edu/data/subscribe/subscribe_2017.csv' into table shanghai_edu.ods_subscribe partition (year = '2017');
  171. load data local inpath '/opt/project/shanghai_edu/data/subscribe/subscribe_2018.csv' into table shanghai_edu.ods_subscribe partition (year = '2018');
  172. load data local inpath '/opt/project/shanghai_edu/data/subscribe/subscribe_2019.csv' into table shanghai_edu.ods_subscribe partition (year = '2019');
复制代码
利用 SQL 分析数据

外借次数、外借时间和用户类型的关系

  1. CREATE EXTERNAL TABLE if not exists shanghai_edu.adm_lo_cnt_time_with_type_dd
  2. (
  3.     `patron_type`      STRING COMMENT '读者类型',
  4.     `lend_out_cnt`     bigint COMMENT '借出数',
  5.     `avg_lend_out_cnt` double comment '平均借出数',
  6.     `min_duration`     double comment '最小借出时间',
  7.     `avg_duration`     double comment '平均借出时间',
  8.     `max_duration`     double comment '最大借出时间'
  9. ) COMMENT '外借次数、外借时间和用户类型的关系'
  10.     STORED AS PARQUET
  11.     LOCATION '/warehouse/shanghai_edu/adm/adm_lo_cnt_time_with_type_dd';
  13. insert overwrite table shanghai_edu.adm_lo_cnt_time_with_type_dd
  14. select patron_type
  15.      , count(*)                                         lend_out_cnt
  16.      , round(count(*) / count(DISTINCT (patron_id)), 2) avg_lend_out_cnt
  17.      , round(min((unix_timestamp(returned_date, 'yyyyMMdd') - unix_timestamp(loan_date, 'yyyyMMdd')) /
  18.                  (60 * 60 * 24)), 2)                    min_duration -- 单位为天
  19.      , round(AVG((unix_timestamp(returned_date, 'yyyyMMdd') - unix_timestamp(loan_date, 'yyyyMMdd')) /
  20.                  (60 * 60 * 24)), 2)                    avg_duration
  21.      , round(MAX((unix_timestamp(returned_date, 'yyyyMMdd') - unix_timestamp(loan_date, 'yyyyMMdd')) /
  22.                  (60 * 60 * 24)), 2)                    max_duration
  23. from shanghai_edu.ods_lend_out
  24. group by patron_type;
复制代码
入馆次数、预约次数和读者类型的关系

  1. CREATE EXTERNAL TABLE if not exists shanghai_edu.adm_ent_subscribe_cnt_with_type
  2. (
  3.     `patron_type`      STRING COMMENT '读者类型',
  4.     `enter_cnt`        bigint COMMENT '总入馆次数/预约次数',
  5.     `avg_lend_out_cnt` double comment '平均入馆次数/平均预约次数'
  6. ) COMMENT '入馆次数、预约次数和读者类型的关系'
  7.     partitioned by (stat_type STRING COMMENT '统计类型(enter/subscribe)')
  8.     STORED AS PARQUET
  9.     LOCATION '/warehouse/shanghai_edu/adm/adm_ent_subscribe_cnt_with_type';
  11. set hive.exec.dynamic.partition.mode=nonstrict;
  12. insert overwrite table shanghai_edu.adm_ent_subscribe_cnt_with_type partition (stat_type)
  13. select patron_type,
  14.        count(*)                                         enter_cnt,
  15.        round(count(*) / count(DISTINCT (patron_id)), 2) avg_enter_cnt,
  16.        'enter'                                          stat_type
  17. from shanghai_edu.ods_enter
  18. group by patron_type
  19. union all
  20. select patron_type,
  21.        count(*)                                         sub_cnt,
  22.        round(count(*) / count(DISTINCT (patron_id)), 2) avg_sub_cnt,
  23.        'subscribe'                                      stat_type
  24. from shanghai_edu.ods_subscribe
  25. group by patron_type
  26. ;
复制代码
各分馆各年份的预约不满意率

  1. CREATE EXTERNAL TABLE if not exists shanghai_edu.adm_subscribe_no_satisfy_lib_year_stat
  2. (
  3.     `no_fulfilled_ratio`        double COMMENT '预约不满足率',
  4.     `sub_library_location_name` string COMMENT '分馆位置',
  5.     `subscribe_year`            string comment '预约年份'
  6. ) COMMENT '各分馆各年份的预约不满足率统计表'
  7.     STORED AS PARQUET
  8.     LOCATION '/warehouse/shanghai_edu/adm/adm_subscribe_no_satisfy_lib_year_stat';
  10. insert overwrite table shanghai_edu.adm_subscribe_no_satisfy_lib_year_stat
  11. select round(sum(if(fulfilled = '不满足', 1, 0)) / count(1), 4) no_fulfilled_ratio
  12.      , sub_library_location_name
  13.      , subscribe_year
  14. from (
  15.          // @formatter:off
  16.         select
  17.             CASE
  18.                 WHEN fulfilled = 'N' THEN '不满足'
  19.                 WHEN fulfilled = 'Y' THEN '满足'
  20.                 ELSE '不知道'
  21.             END AS fulfilled
  22.             ,coalesce(b.sub_library_location_name, '-') sub_library_location_name
  23.             ,coalesce(substr(open_date, 1, 4), '-')  subscribe_year
  24.         from shanghai_edu.ods_subscribe a
  25.         left join shanghai_edu.dim_sub_library b
  26.         on a.sub_library = b.sub_library_or_pickup_location
  27.         // @formatter:on
  28.      ) tb_tmp
  29. GROUP BY sub_library_location_name, subscribe_year
  30. with cube;
复制代码
预约不到的 top10 书籍

  1. CREATE EXTERNAL TABLE if not exists shanghai_edu.adm_subscribe_no_satisfy_top
  2. (
  3.     `ISBN` string COMMENT 'isbn',
  4.     `cnt`  bigint COMMENT '预约不到次数'
  5. ) COMMENT '预约不到的 top10 书籍'
  6.     STORED AS PARQUET
  7.     LOCATION '/warehouse/shanghai_edu/adm/adm_subscribe_no_satisfy_top';
  9. insert overwrite table shanghai_edu.adm_subscribe_no_satisfy_top
  10. select
  11.     ISBN
  12.     ,count(1) cnt
  13. from shanghai_edu.ods_subscribe
  14. where fulfilled = 'N' and ISBN != ''
  15. group by ISBN
  16. order by cnt desc
  17. limit 10
  18. ;
复制代码
入馆时间分布

  1. CREATE FUNCTION parseHour AS 'com.jxd.udf.ParseHour' USING JAR 'hdfs:///udf/yelp-udf-1.0-SNAPSHOT.jar';
  2. reload function;
  3. show functions;
  4. drop function if exists formatVisitTime;
  5. DESCRIBE FUNCTION formatVisitTime;
  7. CREATE FUNCTION formatVisitTime AS 'com.jxd.udf.FormatVisitTime' USING JAR 'hdfs:///udf/yelp-udf-1.0-SNAPSHOT.jar';
  9. CREATE EXTERNAL TABLE if not exists shanghai_edu.adm_enter_time_stat
  10. (
  11.     `holiday_name` string COMMENT '节日名称',
  12.     `visit_hour`   string COMMENT '入馆时间(小时)',
  13.     `cnt`          bigint comment '入馆数量'
  14. ) COMMENT '入馆时间分布统计表'
  15. STORED AS PARQUET
  16. LOCATION '/warehouse/shanghai_edu/adm/adm_enter_time_stat';
  18. // @formatter:off
  19. insert overwrite table shanghai_edu.adm_enter_time_stat
  20. select holiday_name
  21.      , visit_hour
  22.      , count(1) cnt
  23. from
  24. (
  25.     select if(b.holiday_name is not null and b.holiday_name != '', b.holiday_name, '非节假日') holiday_name
  26.            , parseHour(a.visit_time)                                                         visit_hour
  27.     from shanghai_edu.ods_enter a
  28.     left join shanghai_edu.dim_date b on formatVisitTime(a.visit_time) = b.date_key
  29. ) tb_tmp
  30. GROUP BY holiday_name, visit_hour
  31. with cube;
  32. ;
复制代码
hive udf

利用 java 编写一个 hive 的 udf，打包。
将 jar 包上传到 hdfs 上：
  1. hadoop fs -mkdir /udf
  2. hadoop fs -put yelp-udf-1.0-SNAPSHOT.jar /udf/
复制代码
进入 hive 终端中，利用如下命令创建永久函数：
  1. CREATE FUNCTION upper_case_udf AS 'com.jxd.udf.UpperCaseUDF' USING JAR 'hdfs:///udf/yelp-udf-1.0-SNAPSHOT.jar';
复制代码
  hive 终端当前所处的数据库就是这个函数的默认存放数据库，例如：default，如果是在 default 数据库中创建的 udf，在 default 数据库中利用 udf 就可以不携带数据库前缀，如果是在其他数据库中利用这个函数，就必要利用指定这个函数地点的数据库前缀来利用这个函数，好比：select default.upper_case_udf(‘aaa’);
  upper_case_udf 是函数名，com.jxd.udf.UpperCaseUDF 是这个 udf 的类全限定名，最后是 jar 包对应的 hdfs 地址。
可以利用如下命令革新函数：
  1. RELOAD FUNCTION;
复制代码
利用如下命令查询某个 udf 的描述：
  1. DESCRIBE FUNCTION <function_name>;
复制代码
利用如下命令删除函数：
  1. DROP FUNCTION upper_case_udf;
复制代码
怎样在 datagrip 中更新函数：


  • 实行删除函数的命令：
  1. DROP FUNCTION upper_case_udf;
复制代码


  • 关闭项目，File -> Close Project
  • 重新创建函数
  1. CREATE FUNCTION upper_case_udf AS 'com.jxd.udf.UpperCaseUDF' USING JAR 'hdfs:///udf/yelp-udf-1.0-SNAPSHOT.jar';
复制代码
导出 hive 数据到 mysql

本次利用 sqoop 将数据导出到 mysql：
  1. bin/sqoop export \
  2. --connect "jdbc:mysql://node112:3306/shanghai_edu?useUnicode=true&characterEncoding=utf-8" \
  3. --username root \
  4. --password 123456 \
  5. --table adm_lo_cnt_time_with_type_dd \
  6. --num-mappers 1 \
  7. --hcatalog-database shanghai_edu \
  8. --hcatalog-table adm_lo_cnt_time_with_type_dd
  9. --hive-partition-key <partition_key> \
  10. --warehouse-dir <hdfs_path_to_hive_table>
复制代码
导出分区表的所有数据：
  1. bin/sqoop export \
  2. --connect "jdbc:mysql://node112:3306/shanghai_edu?useUnicode=true&characterEncoding=utf-8" \
  3. --username root \
  4. --password 123456 \
  5. --table adm_ent_subscribe_cnt_with_type \
  6. --num-mappers 1 \
  7. --hcatalog-database shanghai_edu \
  8. --hcatalog-table adm_ent_subscribe_cnt_with_type
  9. --hive-partition-key stat_type \
  10. --warehouse-dir /warehouse/shanghai_edu/adm/adm_ent_subscribe_cnt_with_type
复制代码
问题

windows 上的中文文件名的文件上传到 centos 后变成乱码

缘故原由在于，Windows 的文件名中文编码默认为 GBK，压缩或者上传后，文件名还会是 GBK 编码，而 Linux 中默认文件名编码为 UTF8，由于编码不一致以是导致了文件名乱码的问题，办理这个问题必要对文件名进行转码。
安装 convmv：
  1. yum install convmv
复制代码
利用 convmv 将当前文件夹下的所有文件名转为 udf-8 编码：
  1. convmv -f gbk -t utf-8 --notest -r ./
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

梦应逍遥

高级会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表