IT评测·应用市场-qidao123.com

标题: 怎样在Hive提交任务的时候指定队列？ [打印本页]

作者: 梦见你的名字 时间: 2025-3-21 20:12
标题: 怎样在Hive提交任务的时候指定队列？
#Hive常见故障 #大数据 #生产情况真实案例 #Hive #离线数据库 #整理 #经验总结
说明：此篇总结hive常见故障案例处理方案结合自身经历总结不易 +关注 +收藏接待留言
更多Hive案例汇总方案解决方案：请往下翻

怎样在Hive提交任务的时候指定队列？

解决方案
如下，在执行语句前通过下述参数设置：

set mapred.job.queue.name=QueueA;
select count(*) from rc;

复制代码

提交任务后，可在Yarn页面看到，任务已经提交到队列QueueA了。（说明：队列的名称区分大小写，如写成queueA,Queuea均无效。）

更多Hive案例汇总方案 (点击跳转) ：
Hive常见故障多案例维护宝典 --项目总结(宝典一)

Hive常见故障多案例维护宝典 --项目总结(宝典二)

目录内容如下：

架构概述

【1】参数及配置类常见故障

执行set下令的时候报cannot modify xxx at runtime.
怎样在Hive提交任务的时候指定队列？
如何在导入表时指定输出的文件压缩格式
desc描述表过长时，无法表现完整
增长分区列后再insert数据表现为NULL
如何设置hive on spark 模式及提交任务到指定队列
hive on spark应用如何设置spark应用的参数？
如何设置map和reduce个数
MapReduce任务内存溢出问题处理
动态分区方式插入数据，创建过多文件/分区
mapjoin相干参数
Tez引擎和MapReduce引擎执行结果差别

【2】任务运行类常见故障

Hive任务运行过程中失败，重试乐成
执行select语句报错
drop partition操纵有大量分区时操纵失败
localtask启动失败
切域后Hive二次开发样例代码报错
输入文件数超出设置限定导致任务执行失败
任务执行中报栈内存溢出导致执行任务失败
对同一张表或分区并发写数据导致任务失败
Hive任务失败，报没有HDFS目录的权限
Metastore毗连数过高导致hive任务执行慢或任务失败
bonecp参数含义解析
毗连Metastore超时，导致任务失败
数据查询异常，部分字段为Null
return code 1:unable to close file
Tez和MapReduce引擎下，Hive进行join的结果不一致
Hive表里有数据count无结果
hive-sql报values太长
执行hive-sql插入数据重复
tez引擎写入的数据，切换mr引擎后查询不出来

【3】SQL使用类常见故障

join中非通例join on写法导致任务运行慢
视图中多表union all，视图外指定分区查询慢
over（partition by orde by）使用同一字段，MapReduce任务运行慢
join on条件中使用or
SQL扫描分区过多，元数据SQL拼接过长报错
join表重复数据多，任务运行慢
SQL过于复杂，嵌套过多，导致HiveSQL编译时间过长
join on中加判断，导致MapReduce任务运行慢
join on中带不等于条件，导查询的数据都为Null
特殊写法导致大数据量只有一个reduce
cascade级联修改表字段
alter table drop partition删除大量分区慢、报错
大分区表查询不带分区，查询慢
两表关联，关联字段类型不一致
left join右表分区条件写在where后，查询慢
SparkSQL嵌套过多，大量case when
SparkSQL没有group by的情况下使用having
设置自界说参数出现递归调用
视图存在全表扫或者大量分区查询
大量使用with as并在SQL中多处调用
insert into table values形式插入大量数据
多表关联过滤条件中按in的子查询进行过滤
string类型字段过滤不加引号
使用order by null
使用浮点数进行运算
并发插入同表或同分区

最后
谢谢大家 @500佰 @鱼

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)