ビッグデータ分析・活用のためのSQLレシピ

[zerebom]

分析もコーディングもできる人材になれるように、両方の側面からSQLの書き方を指南してくれる本。

https://book.mynavi.jp/supportsite/detail/9784839961268.html

[zerebom]

RDBSMの種類

• PostgreSQL オープンソース。歴史が古い。標準SQLへの準拠率が高い。 軽量のデータ分析をローカルでするのに向いている。

• Apache Hive HDFSと呼ばれる分散ファイルシステム上のデータをSQLライクなインターフェイスで処理するシステム。Hadoopエコシステムの一部 ユーザー定義の関数など使用でき、自由度が高いが、レイテンシは高い。

• Amazon Redshift Hiveと同様に分散RDN 列指向。商用利用前提で、有料。

• BigQuery 列指向。読み込んだデータ量で課金されるので予想外の出費になることもある。 基本的には高速で安価。

• SparkSQL 無料で使用できる、分散処理フレームワーク 高機能だが難しい。

データの種類

業務データ

サービス・システムを運用する目的で構築されたデータベースに存在数rデータ 殆どが更新型のデータ

特徴として

• 精度が高い
• 抽出結果が期間によって変わる
• テーブルの列が多い。

トランザクションデータ

マスタデータ

ログデータ

追記型データ

データ分析の利用価値・目的

• 目標を管理し、計画を立てて、サービス・組織の成長を促す(目標管理)
• ユーザの行動から傾向を発見し、売上やサービスの改善を計る(サービス改善)
• 過去の傾向から未来の行動を予測する(未来予測)