#Hive常见故障 #大数据 #生产情况真实案例 #Hive #离线数据库 #整理 #经验总结
说明：此篇总结hive常见故障案例处理方案 结合自身经历 总结不易 +关注 +收藏 接待留言
更多Hive案例汇总方案 解决方案：请往下翻
怎样在Hive提交任务的时候指定队列？
解决方案
如下，在执行语句前通过下述参数设置：
- set mapred.job.queue.name=QueueA;
- select count(*) from rc;
更多Hive案例汇总方案 (点击跳转) ：
Hive常见故障多案例维护宝典 --项目总结(宝典一)
Hive常见故障多案例维护宝典 --项目总结(宝典二)
目录内容如下：
架构概述
【1】参数及配置类常见故障
- 执行set下令的时候报cannot modify xxx at runtime.
- 怎样在Hive提交任务的时候指定队列？
- 如何在导入表时指定输出的文件压缩格式
- desc描述表过长时，无法表现完整
- 增长分区列后再insert数据表现为NULL
- 如何设置hive on spark 模式及提交任务到指定队列
- hive on spark应用如何设置spark应用的参数？
- 如何设置map和reduce个数
- MapReduce任务内存溢出问题处理
- 动态分区方式插入数据，创建过多文件/分区
- mapjoin相干参数
- Tez引擎和MapReduce引擎执行结果差别
【2】任务运行类常见故障
- Hive任务运行过程中失败，重试乐成
- 执行select语句报错
- drop partition操纵有大量分区时操纵失败
- localtask启动失败
- 切域后Hive二次开发样例代码报错
- 输入文件数超出设置限定导致任务执行失败
- 任务执行中报栈内存溢出导致执行任务失败
- 对同一张表或分区并发写数据导致任务失败
- Hive任务失败，报没有HDFS目录的权限
- Metastore毗连数过高导致hive任务执行慢或任务失败
- bonecp参数含义解析
- 毗连Metastore超时，导致任务失败
- 数据查询异常，部分字段为Null
- return code 1:unable to close file
- Tez和MapReduce引擎下，Hive进行join的结果不一致
- Hive表里有数据count无结果
- hive-sql报values太长
- 执行hive-sql插入数据重复
- tez引擎写入的数据，切换mr引擎后查询不出来
【3】SQL使用类常见故障
- join中非通例join on写法导致任务运行慢
- 视图中多表union all，视图外指定分区查询慢
- over（partition by orde by）使用同一字段，MapReduce任务运行慢
- join on条件中使用or
- SQL扫描分区过多，元数据SQL拼接过长报错
- join表重复数据多，任务运行慢
- SQL过于复杂，嵌套过多，导致HiveSQL编译时间过长
- join on中加判断，导致MapReduce任务运行慢
- join on中带不等于条件，导查询的数据都为Null
- 特殊写法导致大数据量只有一个reduce
- cascade级联修改表字段
- alter table drop partition删除大量分区慢、报错
- 大分区表查询不带分区，查询慢
- 两表关联，关联字段类型不一致
- left join右表分区条件写在where后，查询慢
- SparkSQL嵌套过多，大量case when
- SparkSQL没有group by的情况下使用having
- 设置自界说参数出现递归调用
- 视图存在全表扫或者大量分区查询
- 大量使用with as并在SQL中多处调用
- insert into table values形式插入大量数据
- 多表关联过滤条件中按in的子查询进行过滤
- string类型字段过滤不加引号
- 使用order by null
- 使用浮点数进行运算
- 并发插入同表或同分区
最后
谢谢大家 @500佰 @鱼
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
