GLMix: Generalized Linear Mixed Models For Large-Scale Response Prediction

論文URL

Xianxing Zhang, Yitong Zhou, Yiming Ma, Bee-Chung Chen, Liang Zhang, Deepak Agarwal

kdd 16

一般化線形モデル (GLM) は、統計的推論や応答予測問題で広く使われているモデルのクラスである。
一般的なアプローチとして、GLMの設定においてグローバルな回帰係数に加えてIDレベルの回帰係数を導入する方法があり、このようなモデルは統計学の文献では一般化線形混合モデル（GLMix）と呼ばれている。
しかし、多数のIDレベル係数を持つビッグデータセットでは、GLMixモデルのフィッティングは計算上困難となる可能性がある。
本論文では、BSP（Bulk Synchronous Parallel）パラダイムの下で並列化されたブロック座標降下を適用することにより、スケーラビリティのボトルネックを克服することに成功した方法を再掲する。