search

cjuexuan / mynote

237 stars 34 forks source link

结合linux命令讲解线上用hive拉取hbase数据 #11

Open cjuexuan opened 8 years ago

cjuexuan commented 8 years ago

需求描述

最近刚搞定入职，过段时间要着重研究漏斗模型这一块，所以要先要去线上环境拉取数据，我们打算的是用hive建外部表关联hbase的做法，去拉取用户信息

拉取流程

由于本机不能直接访问线上master，我们这边是先ssh到跳板机，然后从跳板机再ssh到线上环境，进入hive，创建mapping hbase的外部表，导出数据，压缩到本地，打包后scp到跳板机，再跳板机scp到本机pc，操作比我上家规范很多，下面结合linux命令讲一下

步骤

  1. ssh到跳板机 这里就是个ssh命令：ssh username@ip(hostname)，此时输入跳板机的秘密，成功就跳转到跳板机，同样从跳板机ssh到线上环境就可以了
  2. hive创建外部表 先进入hive shell，cd到hive目录下的bin路径，由于我们只是导数据，所以需要创建一个mapping到hbase的tmp表就可以 
CREATE EXTERNAL TABLE tmp_hb_user(
uid string COMMENT 'from deserializer',
username string COMMENT 'from deserializer',
gender string COMMENT 'from deserializer',
thirdpartyName string COMMENT 'from deserializer'
) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
WITH SERDEPROPERTIES ("hbase.columns.mapping" = 
":key,user:realName,user:gender,user:thirdpartyName"
) TBLPROPERTIES("hbase.table.name" = "hb_user");

由于我们并不需要hbase中user的全部属性，直接感兴趣的mapping好就可以，我们这里取数据只要用户id，用户名，性别，渠道商就可以，而uid由于是rowkey，所以在映射的时候就是:key,而其他的直接映射就好

  1. 表创建好我们可以查一下数据 
select count(*) from tmp_hb_user;

我们会发现会触发一个job，然后计算出结果，证明我们外部表创建成果

  1. 导数据到本地 
insert overwrite local directory "/tmp/user_info" row format delimited FIELDS  TERMINATED BY '\t' select * from tmp_hb_user

这里其实也就指定了分隔符，以及本地文件系统的路径

  1. 打包 结束后我们去/tmp/user_info查看下，ls发现有数据，打成tar.gz包 tar -zcvf /tmp/user_info.tar.gz /tmp/user_info 执行结束就发现路径下多了个压缩包
  2. 传回跳板机 此时我们还在master，那就scp到跳板机 scp /localpath username@hostname:/remotepath2save 这里username就是跳板机的用户，hostname就是跳板机的ip，如果有改hosts，就是hostname，localpath就是本地要传送的文件路径，而remotepath则是跳板机的存放路径
  3. 传回本地 由于我们本机ip是ipv6，而且是动态的ip，所以最好的方法是在本机执行远程拷贝 scp username@hostname:/remotepath /localpath2save 执行完就发现本地有了文件
  4. 解压缩 tar -zxvf /path4savetar.gz /path2save 解压完成我们今天的工作就可以了，后续就可以进行数据分析