HIVE报错:FAILED: Execution Error, return code 2 from org.apache.hadoop ...

碰到 Hive 执行错误 "FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask" 时，可以实验以下几种解决方法：
亲测1+6就可以好使。

• 设置 Hive 支持并发： 在运行 SQL 命令前，可以实验设置 hive.support.concurrency 为 false。
  1. set hive.support.concurrency=false;

  复制代码
• 调解 YARN 资源设置： 如果是因为 YARN 资源不足，可以修改 yarn-site.xml 设置文件，例如增加 yarn.scheduler.minimum-allocation-mb 和 yarn.scheduler.maximum-allocation-mb 的值。
        
  1. <property>
  2.   <name>yarn.scheduler.minimum-allocation-mb</name>
  3.   <value>2048</value>
  4. </property>
  5. <property>
  6.   <name>yarn.scheduler.maximum-allocation-mb</name>
  7.   <value>2048</value>
  8. </property>

  复制代码
• 调解 MapReduce 内存设置： 如果是因为内存溢出，可以在运行 SQL 命令前设置 MapReduce 的内存参数。
        
  1. set mapreduce.map.memory.mb=10150;
  2. set mapreduce.map.java.opts=-Xmx6144m;
  3. set mapreduce.reduce.memory.mb=10150;
  4. set mapreduce.reduce.java.opts=-Xmx8120m;

  复制代码
• 同步集群时间： 如果是因为各个节点时间不同步，可以检察集群时间并使用 ntpdate 命令同步时间。
        
  1. ntpdate cn.pool.ntp.org

  复制代码
• 查抄 Hadoop 和 Hive 版本兼容性： 如果是因为版本不兼容，建议检察兼容表确认。
  
• 处理动态分区题目： 如果是因为分区数目太多，可以设置动态分区的相关参数。
        
  1. set hive.exec.dynamic.partition=true;
  2. set hive.exec.max.dynamic.partitions=1000;
  3. set hive.exec.max.dynamic.partitions.pernode=100;

  复制代码
• 关闭自动装载： 可以实验关闭 Hive 的自动装载功能。
        
  1. set hive.auto.convert.join= false;

  复制代码
• 增加 Hive 启动堆栈内存： 修改 hadoop-env.sh 和 hive-config.sh 中的设置，增加内存设置。
        
  1. export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS"
  2. export HADOOP_HEAPSIZE=${HADOOP_HEAPSIZE:-2048}

  复制代码
• 执行引擎设置： 可以实验设置执行引擎为 Spark 或 Tez。
        
  1. set hive.execution.engine=spark;

  复制代码
• 查抄数据范例和表结构： 确保插入数据的范例与目标表的列范例匹配，并且表结构是一致的。
  
• 优化查询语句： 使用 EXPLAIN 语句分析查询的执行筹划，优化查询性能。
  
• 查抄集群资源使用环境： 如果集群资源不足，可以考虑增加资源大概优化资源分配。
  

这些方法可以根据不同的环境实验，以解决 Hive 执行错误的题目。如果题目依然存在，建议检察 Hive 日志获取更具体的错误信息。
这些方法可以根据不同的环境实验，以解决 Hive 执行错误的题目。如果题目依然存在，建议检察 Hive 日志获取更具体的错误信息。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。