search

Xuanmin-W / ETA

与李宗朝共同进行的ETA课题。由杨雅辉导师、四维图新公司驭龙和马三立两位工程师指导。
0 stars 0 forks source link

Hbase学习 #2

Open Xuanmin-W opened 6 years ago

Xuanmin-W commented 6 years ago

HBase是一个构建在HDFS上的分布式列存储系统； HBase是基于Google BigTable模型开发的，典型的key/value系统； HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储； 从逻辑上讲，HBase将数据按照表、行和列进行存储。 与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

Xuanmin-W commented 6 years ago

Hbase表的特点 大：一个表可以有数十亿行，上百万列； 无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列； 面向列：面向列（族）的存储和权限控制，列（族）独立检索； 稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏； 数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳； 数据类型单一：Hbase中的数据都是字符串，没有类型。

Xuanmin-W commented 6 years ago

20131226173226562

Xuanmin-W commented 6 years ago

上图为Hbase逻辑视图 RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。 Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列 Column：属于某一个columnfamily，familyName:columnName，每条记录可动态添加 Version Number：类型为Long，默认值是系统时间戳，可由用户自定义 Value(Cell)：Byte array