办理Hive不支持delete、update问题
一、问题描述：我们在进行数据分析时，在一些特殊情况下须要在hive直接对数据进行更新或删除，而在我们输入删除、更新语句后，经常会出现以下报错：
Attempt to do update or delete using transaction manager that does not support these operations.
二、问题分析：
1.Hive是不支持事务的，以是也就无法支持DELETE和UPDATE使用
2.要实现update和delete功能，该表就须要支持ACID（原子性、同等性、隔离性、持久性）支持，
故在建表时要指定相应属性
三、问题办理：
1.在hive-site.xml文件中，增长以下属性：
<property>
<name>hive.support.concurrency</name>
<value>true</value>
</property>
<property>
<name>hive.enforce.bucketing</name>
<value>true</value>
</property>
<property>
<name>hive.exec.dynamic.partition.mode</name>
<value>nonstrict</value>
</property>
<property>
<name>hive.txn.manager</name>
<value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>
<property>
<name>hive.compactor.initiator.on</name>
<value>true</value>
</property>
<property>
<name>hive.compactor.worker.threads</name>
<value>1</value>
</property>
<property>
<name>hive.in.test</name>
<value>true</value>
</property>
2.重启hive服务
3.启用ACID支持。这通常须要在创建表时指定相应的属性。比方：
CREATE TABLE my_table (
id INT,
name STRING
)
CLUSTERED BY(id) INTO 2 BUCKETS //表必须进行分桶
STORED AS ORC //表的存储格式必须是ORC
TBLPROPERTIES ('transactional'='true'); //Table property中参数transactional必须设定为True
4.进行验证：
-- 删除指定条件下的纪录
DELETE FROM my_table WHERE id = 123;
-- 更新指定条件下的纪录
UPDATE my_table SET name = 'new_name' WHERE id = 456;
须要留意的是，启用ACID支持会增长额外的存储和性能开销，因此请合理使用。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]