MAEA2
commented
5 years ago どんなもの？
Multi-task learning (MTL)とLearning to learn (LTL)の設定において汎化誤差の上界を導出した。
先行研究と比べてどこがすごい？
タスク数をT、各タスクのデータ数をnとしたときに先行研究 Baxter(2000) の結果よりも log T, log n のファクターだけ上界が改善している。
技術や手法のキモはどこ？
Gaussian average という概念を用いて最新の経験過程の結果を利用しているらしい。Gaussian averageはラデマッハ複雑度のラデマッハ変数を独立な標準正規分布に従う変数に変えたようなもの。
どうやって有効だと検証した？
線形判別器を用いた2値分類問題に限って、導出した上界に関して詳細に解析を行い、シュミレーションを行って、Independent task learning (ITL) との比較を行っている。シュミレーションではMTL, LTLのほうがITLよりも良い結果となっている。
議論はある？
そもそもの問題としてタスク同士の関連が明示的に定式化されていないので、ふーんという気持ちになった。またシュミレーションの設定にも問題がある気がする。また、扱っている例が結局分類問題だったので、回帰問題のシュミレーションもあると良かった。またシュミレーションで上界との比較を行っているが、オーダーが全然違っていたので、その実験はする意味があったのかよくわからなかった。また、正則化を含む場合についてはGaussian averageでは上界を導出できないらしいので、そこは議論の余地あり。
次に読むべき論文は？
よくわからない。一般論なので、広く使えそう。
論文リンク
http://jmlr.org/papers/v17/15-242.html
どんなもの？
Multi-task learning (MTL)とLearning to learn (LTL)の設定において汎化誤差の上界を導出した。
先行研究と比べてどこがすごい？
タスク数をT、各タスクのデータ数をnとしたときに先行研究 Baxter(2000) の結果よりも log T, log n のファクターだけ上界が改善している。
技術や手法のキモはどこ？
Gaussian average という概念を用いて最新の経験過程の結果を利用しているらしい。Gaussian averageはラデマッハ複雑度のラデマッハ変数を独立な標準正規分布に従う変数に変えたようなもの。
どうやって有効だと検証した？
線形判別器を用いた2値分類問題に限って、導出した上界に関して詳細に解析を行い、シュミレーションを行って、Independent task learning (ITL) との比較を行っている。シュミレーションではMTL, LTLのほうがITLよりも良い結果となっている。
議論はある？
そもそもの問題としてタスク同士の関連が明示的に定式化されていないので、ふーんという気持ちになった。またシュミレーションの設定にも問題がある気がする。また、扱っている例が結局分類問題だったので、回帰問題のシュミレーションもあると良かった。またシュミレーションで上界との比較を行っているが、オーダーが全然違っていたので、その実験はする意味があったのかよくわからなかった。また、正則化を含む場合についてはGaussian averageでは上界を導出できないらしいので、そこは議論の余地あり。
次に読むべき論文は？
よくわからない。一般論なので、広く使えそう。