第5回 カテゴリカル変数 Approaching categorical variables p85-

[yuyuyuriko78]

アジェンダ

p85 ファシリ：さん

[yuyuyuriko78]

カテゴリカル変数とは

• カテゴリカルデータのカテゴリーとなるもの。

  カテゴリカルデータ

• 質的データ、定性的データとも呼ばれる
• 名義尺度または順序尺度のデータ

カテゴリカル変数の種類

Normal variables　名義尺度

• ひとつひとつの値に関連がない変数。
• 男女、赤青黄

  Ordinal variables　順序尺度

• ひとつひとつの値に関連がある変数。
• 大中小、良可不可

  binary

• ２つのカテゴリーしかない
• 0or1

  cyclic

• 循環する変数。
• 時間、曜日、月

[yuyuyuriko78]

文字列の変数を数値にして使いやすくする

• NaNをなくす（fillnaなど）
• 文字を数値に変換する（ラベルエンコーダー）
• one-hotエンコーディングにする（np.identity）

ラベルエンコーディング

• 文字列のデータに数字をマッピングさせる

  mapping = {
  "red": 0,
  "blue": 1,
  "pink": 2
  }
  df.loc[:, "color"] = df.color.map(mapping)

• scikit-kearnの、ラベルエンコーディングのためのツール「Label Encoder」
  • Label EncoderではNaNを扱えないので、 fillna で"NONE"などの文字列に変換しておく
• tree-basedのモデルに使用できる
• linearモデルには使用できない。（バイナリ化した（one-hot化した）データが使える）

one-hotエンコーディング

• すべてバイナリ(0,1)で表されるファイル
• n個のラベルに分類するとき、nベクトルのうち1つだけ1、あとはすべて0

補足

木構造	線形構造
決定木、ランダムフォレスト、Extra trees、boost tree(XGB boost, GBM, LightGBM)	線形回帰、ロジスティック回帰、サポートベクターマシン(SVM)