PokeAPI データ取得アプリケーション

PokeAPIから収集したデータをストレージに保存して DB へ保存する一連のサーバーレスアプリケーションのモノリポジトリ

このアプリケーションは以下の機能を実施することができる

• PokeAPI からデータを取得し、Cloud Storageへファイルとして保存する
• Cloud Storageに保存されたファイルの複数ファイルを 1 つのファイルに結合したり、CloudSQL for Postgresへ取り込むための形式に変換する
• Cloud Storageに保存されたファイルをCloudSQL for Postgresへ取り込む
• CloudSQL for Postgresのスキーマをコードで管理する
• 一連のジョブをワークフローとして管理し、冪等性が確保されている
  • ワークフローツールをいくつか検討したが、コストに見合わないため一旦ローカルでの管理とする

Postgres へロードするときは、notebookディレクトリに以下の要領で.envファイルを作成してください

DB_HOST=<HOST IP>
DB_USER=<USERNAME>
DB_PASS=<PASSWORD>
DB_NAME=<DATABASE NAME>
DB_PORT=<DATABASE PORT>

以下はアーキテクチャの概要図です。