Neural Networks are Decision Trees

[mei28]

一言で言うと

論文リンク

https://arxiv.org/abs/2210.05189

著者/所属機関

• Caglar Aytekin
• AILead AAC Technologies

投稿日付(yyyy/MM/dd)

2022/10/25

先行研究と比べてどこがすごい？

技術・手法のキモはどこ？

どうやって有効だと検証した?

コメント

次はなに読む？

[mei28]

あらゆるニューラルネット，あらゆる活性化関数は決定木として表現することが可能． この論文では，いくつかのNNモデルが決定木と同等であり，同じように解釈性を獲得できることを示す

[mei28]

NNモデルが大躍進しているが，そのブラックボックス性からセキュリティなどの分野では使われづらい

• NNの解釈方法がいくつかある
• saliency maps
• approximation by interpretable methods
• joint model

Saliency mapsは入力にハイライトを加えて可視化

• 勾配の可視化
• 出力から特徴量の逆算
• この方法では音とかは分かりづらい

NNモデルから決定木に変化して解釈性を得る方法もある

• tree distillation というNNモデルを近似する方法がある．しかし，表現力が弱い

NNモデルと決定木を結合する方法がある．

• DeepNNを使って決定木の学習を手伝う
• NNの構造を決定木ににさせる

induced treeの出力がNNの出力と一緒になることを示す．また決定木の表現がNNの特定の構造でできないことはないことを示す．

[mei28]

NNモデルと活性化関数の次のように表すことが可能になる

a_{i-1}は活性化関数の傾きを表現している．式2をさらに変形すると次のようになる．

これを連続でやると

ここで重要なのは第i層に関係あるのは，直前のcategorization vectorsのみである． ここで，各層では，直前からの入力を使うかどうかを選択するフィルターと捉えることができるから，決定木であると考えることができる．このことより，全結合層は1つの決定木と考える．

ReLUのNNモデルは次のように決定木のように捉えられる