hive 存储格式

1. hive的数据存储

Hive本身是没有专门的数据存储格式, 也没有为数据建立索引, 只需要建表时指定hive数据的列分割符和行分隔符;

hive的几种主要数据模型 : table, external table, partition, bucket桶
1. 表每个表在hdfs都有相应的目录来存储表的数据, 这个目录是通过${Hive_Home}/conf/hive-site.xml配置文件中hive.metastore.warehouse.dir属性配置, 默认值是/usr/hive/warehouse (是hdfs目录) . 例外是外部表;
2. 外部表 Hive中的外部表和表很类似，但是其数据不是放在自己表所属的目录中，而是存放到别处, 如user/hive/warehouse/my.db/hive/mytb, 这样的好处是如果你要删除这个外部表，该外部表所指向的数据是不会被删除的，它只会删除外部表对应的元数据, 删除外部表后,查看hdfs路径此时还存在；而如果你要删除表，该表对应的所有数据包括元数据都会被删除;
3. 分区在Hive中，表的每一个分区对应表下的相应目录，所有分区的数据都是存储在对应的目录中。比如wyp表有dt和city两个分区，则对应dt=20131218,city=BJ对应表的目录为/user/hive/warehouse/dt=20131218/city=BJ，所有属于这个分区的数据都存放在这个目录中。
4. 分桶对指定的列计算其hash，根据hash值切分数据，目的是为了并行，每一个桶对应一个文件（注意和分区的区别）。比如将wyp表id列分散至16个桶中，首先对id列的值计算hash，对应hash值为0和16的数据存储的HDFS目录为：/user/hive/warehouse/wyp/part-00000；而hash值为2的数据存储的HDFS 目录为：/user/hive/warehouse/wyp/part-00002。

2. 元数据

: Hive中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。由于Hive的元数据需要不断的更新、修改，而HDFS系统中的文件是多读少改的，这显然不能将Hive的元数据存储在HDFS中。目前Hive将元数据存储在数据库中，如Mysql、Derby中。(目前常用的是mysql), 我们可以通过以下的配置来修改Hive元数据的存储方式;
javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive_hdp?characterEncoding=UTF-8&createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore

    <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
    </property>

    <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>username to use against metastore database</description>
    </property>

    <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
    <description>password to use against metastore database</description>
    </property>

　　当然，还需要将相应数据库的启动复制到${HIVE_HOME}/lib目录中，这样才能将元数据存储在对应的数据库中。

summerflowerying / blog-summer

hive 存储格式 #58

hive 存储格式

1. hive的数据存储

2. 元数据