Hive分区表增删字段(解决alter table失败问题)

编程入门 行业动态 更新时间:2024-10-18 23:30:23

Hive<a href=https://www.elefans.com/category/jswz/34/1765571.html style=分区表增删字段(解决alter table失败问题)"/>

Hive分区表增删字段(解决alter table失败问题)

假设我们有个内部表如下:

CREATE TABLE `db_name.user_table_name`(`id` string, `user_name` string, `uid` string)
PARTITIONED BY (`date` string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' COLLECTION ITEMS TERMINATED BY '\002' STORED AS PARQUET;

一般情况下,如果我想给这个表增加国家对应的字段,可以通过alter table命令实现,如:

alter table db_name.user_table_name add columns (country string comment '国家') cascade;

但是,如果表里的分区很多,数据量很大,执行这个命令可能出现问题,执行时间超长,甚至报错失败。

为了解决这个问题,提供另外一个增删字段的方案。

  1. 为了确保没有分区缺损问题,首先修复分区表
  2. 如果是内部表,将表更改为外部表;如果是外部表,跳过该步骤(非常重要,删内部表会将所有数据删除,而外部表只会删meta信息)
  3. 执行删除表操作
  4. 创建新的表,新表的结构为更改字段后的结构
  5. 修复表分区
  6. 查看表分区,确认新表正常关联数据
MSCK REPAIR TABLE db_name.user_table_namealter table db_name.user_table_name set TBLPROPERTIES ('EXTERNAL'='TRUE');drop table db_name.user_table_name 
CREATE TABLE `db_name.user_table_name `(`id` string, `user_name` string, `uid` string, `country` string)
PARTITIONED BY (`date` string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' COLLECTION ITEMS TERMINATED BY '\002' STORED AS PARQUET;MSCK REPAIR TABLE db_name.user_table_nameSHOW PARTITIONS db_name.user_table_name

 

更多推荐

Hive分区表增删字段(解决alter table失败问题)

本文发布于:2024-02-07 02:06:17,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1752267.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:分区表   字段   Hive   alter   table

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!