Hive刷分区MSCK

[复制链接]
发表于 2025-11-15 23:08:57 | 显示全部楼层 |阅读模式
一、MSCK刷分区

我们寻常通常是通过alter table add partition方式增长Hive的分区的,但偶尔候会通过HDFS put/cp下令或flink、flum步调往表目次下拷贝分区目次,假如目次多,须要实行多条alter语句,非常贫苦。Hive提供了一个"Recover Partition"的功能
MSCK(全称metastore consistency check,Hive表分区连贯性查抄),运行MASK REPAIR TABLE 后,Hive会去检测这个表在HDFS上的文件,把没有写入metastore的分区信息写入到metastore。
具体语法如下:
  1. MSCK REPAIR TABLE table_name;
复制代码
实行示例:

应当注意的是,假如元数据中存在,但实际数据路径不存在,hive会删除元数据中的消息,而不是去新增底层数据路径。反之假如元数据中不存在,单实际路径中存在,hive会新增元数据信息。
在下令运行的时间,常见一个报错为Caused by: MetaException (message

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

×
回复

使用道具 举报

登录后关闭弹窗

登录参与点评抽奖  加入IT实名职场社区
去登录
快速回复 返回顶部 返回列表