Hive的内部表、外部表、分区表、分桶表

内部表和外部表的区别

创建表时，如果没有使用external关键字，则该表是内部表（managed table）
被external关键字修饰的是外部表（external table）

区别

• 内部表数据由Hive自身管理，外部表则是由HDFS管理。
• 删除内部表会直接删除元数据（metadata）以及储存数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被删除。
• 对内部表的修改会直接同步给元数据，而对外部表的表结构和分区进行修改，则需要修复。

Hive分区表

在Hive Select查询中一般会扫描整个表的内容，会消耗很多时间做没必要的工作。又时只是想关心表中部分数据，因此引入了partition概念。分区表指的是在创建表的时指定的partition的分区空间。

将数据组织成分区，主要可以提高数据的查询速度。至于用户存储的每一条记录到底放在哪个分区，有用户决定。即用户在加载数据的时候必须显示的指定该部分数据放到哪个分区。

实现细节

• 1.一个表可以有一个或者多个分区，每个分区的文件夹的形式单独存在表文件夹下的目录下。
• 2.表和列名不区分大小写。
• 3.分区是以字段的形式在表结构中存在，通过describetable命令可以查看到字段的存在。但是该字段不存放实际的数据内容，仅仅是分区的表示（伪列）。

分区表综合练习

（1）需求描述：

现有一个score.csv文件，先存放于集群的 /scoredatas/month=201806 目录下，这个文件每天都会生成，存放到对应的日期文件夹下面去，文件别人也需要公用，不能移动。