Hive insert into table values形式插入大量数据
#Hive常见故障 #大数据 #生产情况真实案例 #Hive #离线数据库 #整理 #履历总结说明：此篇总结hive常见故障案例处理方案 结合自身履历 总结不易 +关注 +收藏 接待留言
更多Hive案例汇总方案 解决方案：请往下翻
Hive insert into table values形式插入大量数据
问题
Hiveserver fullgc。
原因
该使用即为把数据导出为insert into values的SQL语句，由于数据条数许多，导致导出的SQL很长，甚至一个SQL内容要几百兆。
解决方法
使用常规的数据导入方式，例如生成文本文件，再load入Hive表中。
更多Hive案例汇总方案 (点击跳转) ：
Hive常见故障多案例维护宝典 --项目总结(宝典一)
Hive常见故障多案例维护宝典 --项目总结(宝典二)
目录内容如下：
架构概述
【1】参数及设置类常见故障
[*] 执行set命令的时候报cannot modify xxx at runtime.
[*] 怎样在Hive提交任务的时候指定队列？
[*] 如何在导入表时指定输出的文件压缩格式
[*] desc形貌表过长时，无法体现完整
[*] 增长分区列后再insert数据体现为NULL
[*] 如何设置hive on spark 模式及提交任务到指定队列
[*] hive on spark应用如何设置spark应用的参数？
[*] 如何设置map和reduce个数
[*] MapReduce任务内存溢出问题处理
[*] 动态分区方式插入数据，创建过多文件/分区
[*] mapjoin相干参数
[*] Tez引擎和MapReduce引擎执行结果不同
【2】任务运行类常见故障
[*] Hive任务运行过程中失败，重试乐成
[*] 执行select语句报错
[*] drop partition操纵有大量分区时操纵失败
[*] localtask启动失败
[*] 切域后Hive二次开辟样例代码报错
[*] 输入文件数超出设置限制导致任务执行失败
[*] 任务执行中报栈内存溢出导致执行任务失败
[*] 对同一张表或分区并发写数据导致任务失败
[*] Hive任务失败，报没有HDFS目录的权限
[*] Metastore连接数过高导致hive任务执行慢或任务失败
[*] bonecp参数寄义剖析
[*] 连接Metastore超时，导致任务失败
[*] 数据查询异常，部门字段为Null
[*] return code 1:unable to close file
[*] Tez和MapReduce引擎下，Hive举行join的结果不同等
[*] Hive表里有数据count无结果
[*] hive-sql报values太长
[*] 执行hive-sql插入数据重复
[*] tez引擎写入的数据，切换mr引擎后查询不出来
【3】SQL使用类常见故障
[*] join中非常规join on写法导致任务运行慢
[*] 视图中多表union all，视图外指定分区查询慢
[*] over（partition by orde by）使用同一字段，MapReduce任务运行慢
[*] join on条件中使用or
[*] SQL扫描分区过多，元数据SQL拼接过长报错
[*] join表重复数据多，任务运行慢
[*] SQL过于复杂，嵌套过多，导致HiveSQL编译时间过长
[*] join on中加判断，导致MapReduce任务运行慢
[*] join on中带不即是条件，导查询的数据都为Null
[*] 特别写法导致大数据量只有一个reduce
[*] cascade级联修改表字段
[*] alter table drop partition删除大量分区慢、报错
[*] 大分区表查询不带分区，查询慢
[*] 两表关联，关联字段类型不同等
[*] left join右表分区条件写在where后，查询慢
[*] SparkSQL嵌套过多，大量case when
[*] SparkSQL没有group by的情况下使用having
[*] 设置自定义参数出现递归调用
[*] 视图存在全表扫或者大量分区查询
[*] 大量使用with as并在SQL中多处调用
[*] insert into table values形式插入大量数据
[*] 多表关联过滤条件中按in的子查询举行过滤
[*] string类型字段过滤不加引号
[*] 使用order by null
[*] 使用浮点数举行运算
[*] 并发插入同表或同分区
末了
谢谢各人 @500佰
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]