AkihikoWatanabe
commented
1 year ago In a controllable text generation dataset, there exist unannotated attributes that could provide irrelevant learning signals to models that use it for training and thus degrade their performance. We propose focused prefix tuning (FPT) to mitigate the problem and to enable the control to focus on the desired attribute. Experimental results show that FPT can achieve better control accuracy and text fluency than baseline models in single-attribute control tasks. In multi-attribute control tasks, FPT achieves comparable control accuracy with the state-of-the-art approach while keeping the flexibility to control new attributes without retraining existing models.
Translation (by gpt-3.5-turbo)
- 制御可能なテキスト生成データセットでは、トレーニングに使用されるモデルにとって関係のない学習信号を提供する可能性のある注釈のない属性が存在し、その結果、パフォーマンスが低下することがあります。本研究では、この問題を軽減し、望ましい属性に焦点を当てるための「focused prefix tuning（FPT）」を提案します。実験結果は、FPTが単一属性制御タスクにおいてベースラインモデルよりも制御精度とテキストの流暢さを向上させることができることを示しています。また、複数属性制御タスクでは、FPTは最先端の手法と比較して制御精度を同等に保ちながら、既存のモデルを再トレーニングすることなく新しい属性を制御する柔軟性を持つことができます。
Summary (by gpt-3.5-turbo)
- 本研究では、注釈のない属性によって制御可能なテキスト生成データセットのパフォーマンスが低下する問題に対して、「focused prefix tuning（FPT）」という手法を提案しています。FPTは望ましい属性に焦点を当てることで、制御精度とテキストの流暢さを向上させることができます。また、FPTは複数属性制御タスクにおいても、既存のモデルを再トレーニングすることなく新しい属性を制御する柔軟性を持ちながら、制御精度を保つことができます。
https://virtual2023.aclweb.org/paper_P1495.html