Most existing text generation models follow the sequence-to-sequence paradigm. Generative Grammar suggests that humans generate natural language texts by learning language grammar. We propose a syntax-guided generation schema, which generates the sequence guided by a constituency parse tree in a top-down direction. The decoding process can be decomposed into two parts: (1) predicting the infilling texts for each constituent in the lexicalized syntax context given the source sentence; (2) mapping and expanding each constituent to construct the next-level syntax context. Accordingly, we propose a structural beam search method to find possible syntax structures hierarchically. Experiments on paraphrase generation and machine translation show that the proposed method outperforms autoregressive baselines, while also demonstrating effectiveness in terms of interpretability, controllability, and diversity.

Translation (by gpt-3.5-turbo)

既存のテキスト生成モデルの多くは、シーケンス・トゥ・シーケンスのパラダイムに従っています。生成文法は、人間が自然言語のテキストを生成する際に言語文法を学習することを示唆しています。私たちは、構文にガイドされた生成スキーマを提案し、上から下に向かって構文解析木に従ってシーケンスを生成します。デコーディングプロセスは、2つのパートに分解することができます：（1）ソース文に基づいて、レキシカル化された構文コンテキストの各構成要素に対して埋め込みテキストを予測すること；（2）各構成要素をマッピングし、展開して次のレベルの構文コンテキストを構築すること。それに応じて、階層的に可能な構文構造を見つけるための構造ビームサーチ手法を提案します。パラフレーズ生成と機械翻訳の実験結果は、提案手法が自己回帰のベースラインを上回ることを示しており、解釈可能性、制御可能性、多様性の観点でも効果的であることを示しています。
Summary (by gpt-3.5-turbo)
既存のテキスト生成モデルには制約があり、シーケンス・トゥ・シーケンスのパラダイムに従っている。私たちは、構文にガイドされた生成スキーマを提案し、構文解析木に従ってシーケンスを生成する。提案手法は、パラフレーズ生成と機械翻訳の実験でベースラインを上回り、解釈可能性、制御可能性、多様性の観点でも効果的であることを示している。

AkihikoWatanabe / paper_notes

Explicit Syntactic Guidance for Neural Text Generation, ACL'23 #813

Translation (by gpt-3.5-turbo)

Summary (by gpt-3.5-turbo)