Open idekazuki opened 4 years ago
予算制約のあるマルチドメイン学習問題において,ネットワークの複雑さを制限して,事前学習済みモデルを新しいドメインごとに適応させるBudget-Aware Adapters(BA2)を提案した.BA2は,学習可能なスイッチベクトルを使用して,最も関連する特徴チャネルを選択する
提案⼿法では,ドメインに関連する特徴チャネルを選択できるスイッチ変数を埋め込むBudget-Aware Adapters(BA2)を使⽤する. BA^2は、各畳込み層の特徴チャネルを削除することで、ネットワークの画像表現を適合させ、計算の複雑さを軽減する。
各ドメインに固有のバッチ正規化パラメータを使用
あたし異ドメインdを学習するとき、畳み込み層の各チャネルを制御することにより、畳み込みを適応させることを目指す。 そのために、追加のバイナリスイッチベクトルsを導入する。位置(i, j)での畳み込みの出力は以下。
K:カーネルサイズ、C:入力チャネルの数
θadはすべてのスイッチ値sと追加のバッチ正規化パラメータセットを示す。
予算制約のあるマルチドメイン学習問題において,ネットワークの複雑さを制限して,事前学習済みモデルを新しいドメインごとに適応させるBudget-Aware Adapters(BA2)を提案した.BA2は,学習可能なスイッチベクトルを使用して,最も関連する特徴チャネルを選択する
提案⼿法では,ドメインに関連する特徴チャネルを選択できるスイッチ変数を埋め込むBudget-Aware Adapters(BA2)を使⽤する.
BA^2は、各畳込み層の特徴チャネルを削除することで、ネットワークの画像表現を適合させ、計算の複雑さを軽減する。