hiveの複数台構成構築

HirokiTanaka commented 9 years ago

現状１台構成になっている hadoop / hive の構成を複数台構成で構築する。

master 1台
slave 2台

の構成で構築する

[x] 各ec2インスタンスの作成
[x] 各ec2インスタンスへのhadoopのインストール
[x] 各ec2インスタンスのhadoop設定

2 も参考にして、hadoopの設定を行う。
[x] 各ec2インスタンスへのhiveのインストール

hadoop や hiveのインストールはある程度自動化できるようにしておきたい。

HirokiTanaka commented 9 years ago

master/slaveの両方を１から作り直す

IAM Role作成

StockRole

AmazonEC2FullAccess
AmazonS3FullAccess

のポリシーを付与してIAM Roleを作成

Slaveインスタンスの作成

IAM Roleに作成したStockRoleを設定し、インスタンスを作成

HirokiTanaka commented 9 years ago

Slaveインスタンスの設定

せっかくなので Chef を弄ってみる

HirokiTanaka commented 9 years ago

hadoopのcluster構成

HirokiTanaka commented 9 years ago

/usr/local/bin/hadoop/bin/hdfs namenode -format
sh /usr/local/bin/hadoop/sbin/start-dfs.sh

/usr/local/bin/hive/bin/hive

HirokiTanaka commented 9 years ago

ALTER TABLE stocks ADD PARTITION ( dt='2015-09-12' ) LOCATION 's3n://hirokitanaka-stock/hdfs/data/stocks/2015-09-12';

にてエラー発生

FAILED: SemanticException java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3n URL, or by setting the fs.s3n.awsAccessKeyId or fs.s3n.awsSecretAccessKey properties (respectively).

どうもcore-site.xmlに設定が必要な模様orz Roleでやってほしかった。。。

HirokiTanaka commented 9 years ago

master + slave 1台 slave 1台の計2台で構成

HirokiTanaka / Stock