e4exp
commented
3 years ago 1 はじめに
文章を書くことは，爽快で創造的な経験であると同時に，認知的に要求され，フラストレーションのたまる作業でもあります。 最近のニューラル言語モデリングの進歩は、人間の著者の執筆経験を改善するのに役立つのでしょうか？ 前もって訓練されたTransformer言語モデル（Radford et al., 2019）は、メールの「オートコンプリート」などの自動執筆支援を改善することが示されている（Chen et al. しかし、単純な「次の単語の予測」を超えるライティング支援機能は、まだ十分に検討されていない。 我々は、細かなユーザーの指示（例えば、説明文を追加する、慣用句を使う、不器用な言い回しを言い換えるなど）に従うことができるオーサリングアシスタントを構築する。 我々のシステムであるIntent-Guided Assistant (IGA)は、制御可能なテキスト生成とテキストインフィリングを組み合わせたものである(Zhu et al., 2019; Keskar et al., 2019a; Lewis et al., 2020; Donahue et al., 2020)。 より具体的には、Keskar et al. (2019b)のタグベースの制御を、我々のモデルが関連性のある流暢なテキストでインフィリングすることを学習する修辞的な指示のセットを含むように適応させる。 我々のシステムは以下の著者誘導タグを扱うことができる：cause, effect, concession (contrast), description, biography, idiom, rephrase。 IGA へのユーザの入力は、キーワードのリストのような単純なものでよく、 整った文節や文の断片を含む必要はない（図 1）。
このデータセットでは、特定の指示語に対応するスパンが単一のタグに置き換えられている。
"It was raining
- 著者が指定した明示的な修辞的指示に基づいて、制御されたテキストを生成することができるオーサリングアシスタントIGAを設計する。
-
- IGA を学習するために，複数のリポジトリから入手した，著者の意図をヒューリスティッ クにラベル付けしたテキストの大規模なデータセット（7500 万トークン）を作成する．このデータセットは、AIによる著者支援の研究を促進するために、一般に公開される予定である。
-
- 自動評価，クラウドソース評価，およびクリエイティブ・ライティングを対象としたユーザ・ スタディにより，IGA の有用性を検証する．
前もって学習された大規模な言語モデルによって、オートコンプリートのようなライティングアシスタントの機能が大幅に向上しましたが、より複雑で制御可能なライティングアシスタントはまだ研究されていません。 我々は、言語モデルの進歩を利用して、細かい著者の指定に従ってテキストを生成したり、リフレーズしたりするインタラクティブなライティングアシスタントを構築する。 ユーザーは，特定の修辞的指示（説明や対比の追加，特定の文の言い換えなど）に対応するタグが散りばめられたテキストの形で，我々の意図に沿ったアシスタント（IGA）に入力を行う． 著者の意図をヒューリスティックにラベル付けしたデータセットを用いて言語モデルを微調整することで，IGAがタグを埋めてテキストを生成し，ユーザが後から好みに合わせて編集できるようにする． 一連の自動評価およびクラウドソース評価により，IGA が生成した出力の品質が確認された． また，小規模なユーザ研究では，創作タスクにおいてベースライン手法よりも IGA が著者に好まれることが示された． データセット、コード、デモを公開し、AIによる文章作成支援の研究を促進する。