ダイナモクローラーβ

Splatoon公式サービスイカリングのデータをクローリングしてDynamoDBに保存する。

イカリングのランキングスコアを随時保存することで、ブキ・ステージ・ルール毎の戦績をカジュアルに把握することを目的としている。

Serverless Frameworkを用いてAWS上にLambda、API Gateway、DynamoDBを配置する。

Installation

AWS CLIが使える状態にしておき、Serverless Frameworkをインストールしてデプロイする。 多分こんな感じ。

$ curl "https://bootstrap.pypa.io/get-pip.py" -o "get-pip.py"
$ sudo python get-pip.py
$ sudo pip install awscli
$ aws configure
$ git clone https://github.com/s2terminal/dynamo-crawler.git
$ cd dynamo-crawler
$ npm install --save
$ serverless dash deploy

Usage

database/initialize でDynamoDBのテーブルを作成する。

dynamo-crawler-formテーブルにイカリングのログイン情報を挿入しておく必要がある。 下記のような感じ

docClient.put({
  "TableName": "dynamo-crawler-form",
  "Item": { "key":"username", "value": "ユーザ名" }
}, function(err, data) {});

docClient.put({
  "TableName": "dynamo-crawler-form",
  "Item": { "key":"password", "value": "パスワード" }
}, function(err, data) {});

crawling/fetch でデータを取得しDynamoDBに保存することができる。

License

MIT。

リンク

• イカリング利用規約 ※ログインすると導線が無くなる
• Splatoon（スプラトゥーン）公式サイト
• Amazon DynamoDB （フルマネージドNo SQLデータベース） | AWS