Week 2 - Githubissues

takuyaa commented 9 years ago

yubessy commented 9 years ago

「正規化」に対応する各英語の違いについて

日本語で「正規化」と訳される英語の中で、機械学習の話に出てくるものには以下のようなものがあります。

これらはそれぞれ異なる意味をもっています。以下でそれについて自分なりに説明してみます。

特徴量の取りうる範囲を変換することです。

極論を言えば、特徴量に適当な定数を掛け算することも scaling と言えます（手法としてなんの意味も持ちませんが）。

特徴量の取りうる範囲を ある基準に従うように 変換することです。

例えば x -> (x - m) / (M - m) は、 x を最大値1、最小値0という基準に従うよう変換するので normalization と言えます。

特徴量の取りうる範囲を 標準正規分布に従うように 変換することです。

具体的には x -> (x - μ) / σ (σは分散) による変換のことです。

学習の結果として得られるモデルが未知の値に対応できるよう、目的関数に制約を加えること（またはその制約を加えた目的関数を使って学習を行うこと）です。

これについて簡単に説明するのは難しいですが、この先の講義で語られると思います。とりあえず regularization は上の3つとは全く違う種類の概念と考えてください。

chezou commented 9 years ago

"regularization"は日本語訳でも「正則化」という訳語が使われるのが一般的で、正規化とは別の概念ですね