大数据技能原理及应用课实行6 :熟悉Hive的根本操作
目录一、实行目的
二、实行平台
三、数据集
四、实行步调（每个步调下均需有运行截图）
（1）创建一个内部表stocks，字段分隔符为英文逗号，表结构如表14-11所示。
(2)创建一个外部分区表dividends（分区字段为exchange和symbol），字段分隔符为英文逗号，表结构如表14-12所示。
（3）从stocks.csv文件向stocks表中导入数据。
（4） 创建一个未分区的外部表dividends_unpartitioned，并从dividends.csv向此中导入数据，表结构如表14-13所示。
（5）通过对dividends_unpartitioned的查询语句，利用Hive自动分区特性向分区表dividends各个分区中插入对应数据。
（6）查询IBM公司(symbol=IBM)从2000年起全部付出股息的买卖业务日(dividends表中有对应记录)的收盘价(price_close)。
（7）查询苹果公司(symbol=AAPL)2008年10月每个买卖业务日的涨跌情况，涨表现rise，跌表现fall,不变表现unchange。
（8）查询stocks表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的买卖业务所(exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。
（9）从stocks表中查询苹果公司（symbol=AAPL）年平均调整后收盘价(price_adj_close) 大于50美元的年份及年平均调整后收盘价。
（10）查询每年年平均调整后收盘价(price_adj_close)前三名的公司的股票代码及年平均调整后收盘价。
五、实行总结
六、优化及改进（选做）
实行6 熟悉Hive的根本操作
一、实行目的
1. 明白Hive作为数据堆栈在Hadoop体系结构中的角色。
2. 熟练利用常用的HiveQL。
二、实行平台
1. 操作体系：Ubuntu18.04（或Ubuntu16.04）。
2. Hadoop版本：3.1.3。
3. Hive版本：3.1.2。
4. JDK版本：1.8。
三、数据集
由《Hive编程指南》(O'Reilly系列，人民邮电出版社)提供，下载地址：
https://raw.githubusercontent.com/oreillymedia/programming_hive/master/prog-hive-1st-ed-data.zip
备用下载地址：
https://www.cocobolo.top/FileServer/prog-hive-1st-ed-data.zip
解压后可以得到本实行所需的stocks.csv和dividends.csv两个文件。
四、实行步调（每个步调下均需有运行截图）
（1）创建一个内部表stocks，字段分隔符为英文逗号，表结构如表14-11所示。
表14-11 stocks表结构
col_name
data_type
exchange
string
symbol
string
ymd
string
price_open
float
price_high
float
price_low
float
price_close
float
volume
int
price_adj_close
float
https://img-blog.csdnimg.cn/direct/ab3fcf7953144855a3e648d1f6a1e2ad.png
(2)创建一个外部分区表dividends（分区字段为exchange和symbol），字段分隔符为英文逗号，表结构如表14-12所示。
表14-12 dividends表结构
col_name
data_type
ymd
string
dividend
float
exchange
string
symbol
string
https://img-blog.csdnimg.cn/direct/f52dc1de559241cbbf01a6a6a6f5761b.png
（3）从stocks.csv文件向stocks表中导入数据。
https://img-blog.csdnimg.cn/direct/ab86d09d02514637801c3d3b38d3086c.png
（4） 创建一个未分区的外部表dividends_unpartitioned，并从dividends.csv向此中导入数据，表结构如表14-13所示。
表14-13 dividends_unpartitioned表结构
col_name
data_type
ymd
string
dividend
float
exchange
string
symbol
string
https://img-blog.csdnimg.cn/direct/5d3a2da7e72d42f5b22d3d0cc8235e56.png
https://img-blog.csdnimg.cn/direct/07fdf23757214b16b99d7fbdf3c39f1e.png
（5）通过对dividends_unpartitioned的查询语句，利用Hive自动分区特性向分区表dividends各个分区中插入对应数据。
https://img-blog.csdnimg.cn/direct/c70a1a288df04136900aab31a8b9a3cc.png
（6）查询IBM公司(symbol=IBM)从2000年起全部付出股息的买卖业务日(dividends表中有对应记录)的收盘价(price_close)。
https://img-blog.csdnimg.cn/direct/bb2abc8d7ab049c7b76386694c840b96.png
（7）查询苹果公司(symbol=AAPL)2008年10月每个买卖业务日的涨跌情况，涨表现rise，跌表现fall,不变表现unchange。
https://img-blog.csdnimg.cn/direct/1b55d856eafc44ee92ef8e9b4d2faa41.png
https://img-blog.csdnimg.cn/direct/860d1372910c438491936b357123e2b6.png
（8）查询stocks表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的买卖业务所(exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。
https://img-blog.csdnimg.cn/direct/67c802752acf450090073c2c6dc71ba5.png
https://img-blog.csdnimg.cn/direct/be7795155aa44fb1919fa6d8795f9de2.png
（9）从stocks表中查询苹果公司（symbol=AAPL）年平均调整后收盘价(price_adj_close) 大于50美元的年份及年平均调整后收盘价。
https://img-blog.csdnimg.cn/direct/ee1cb56936254dfcb6dcbdeb8e8c2a18.png
https://img-blog.csdnimg.cn/direct/da4930b318bd4f41af2f152566bf682a.png
（10）查询每年年平均调整后收盘价(price_adj_close)前三名的公司的股票代码及年平均调整后收盘价。
https://img-blog.csdnimg.cn/direct/83b70897787b4b25adca71eec2aa6e4d.png
https://img-blog.csdnimg.cn/direct/fd12ea20481d4d57b9dcdfef6bb2b9d0.png
五、实行总结
在本次实行中，明白学习了Hive作为数据堆栈在Hadoop体系结构中的角色以及学习了如何利用常用的HiveQL。具体如下：学习了创建内部表、从文件向表中导入数据、利用Hive自动分区特性向分区表dividends各个分区中插入对应数据、查询指定的内容等等。
还有在实行中有遇到过一些题目，如在启动 Hive 时,出现 Hive metastore database is not initialized 的错误。后面经过查询才得知，出现这个错误的原因是，以前曾经安装了 Hive或MySQL,重新安装Hive 和 MySQL 以后，导致版本设置不一致。解决方法是使schematool工具。Hive如今包罗一个用于Hiw Metastore架构操控的脱机工具--schematool。在此次实行中学习感受颇多，仍需继续增强学习。
六、优化及改进（选做）
【提出你以为解决这个题目更好的算法，并加以说明】
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]