tossyi
commented
2 years ago Introduction
- 従来の言語モデルはデータの均一性を前提としている。そのため、モデルを更新する際は、データの損失を最小化するように全てのパラメータを更新する。（これをdense trainingと呼ぶ）
- dense trainingには、一般化、効率性、柔軟性において欠点がある
- dense trainingは実際には学習時に多いデータに影響されやすい([Oren et al.2019](Distributionally Robust Language Modeling); Fan et al.,2020)
- モデルのサイズが大きくなると、モデルの全てのパラメータを更新することはコストが高くなる(Strubell et al.,2019)
- fine-tuningやDAPTを行うことは少ない予算では困難である
- 元のデータを忘れずに新しいドメインに適用することも困難(Aghajanyan et al., 2021)
- 特定のドメイン
本論文では、DEMIX(Domain Expert)を提案する。 DEMIXでは、異なる領域のドメインに特化したコンポーネントを持ち、推論時には必要に応じて、混合・追加・削除することでカスタマいできる。この設計原理は、学習後に言語モデルを迅速に適応させる能力を重視している。
Paper Link
https://arxiv.org/abs/2108.05036
Upload
2021/08/11
What is paper about?
Paper Contributions
Key Points
Validate advantages and Effectiveness
Points to discuss
Related Work