AkihikoWatanabe
commented
1 year ago The amount of labeled data to train models for speech tasks is limited for most languages, however, the data scarcity is exacerbated for speech translation which requires labeled data covering two different languages. To address this issue, we study a simple and effective approach to build speech translation systems without labeled data by leveraging recent advances in unsupervised speech recognition, machine translation and speech synthesis, either in a pipeline approach, or to generate pseudo-labels for training end-to-end speech translation models. Furthermore, we present an unsupervised domain adaptation technique for pre-trained speech models which improves the performance of downstream unsupervised speech recognition, especially for low-resource settings. Experiments show that unsupervised speech-to-text translation outperforms the previous unsupervised state of the art by 3.2 BLEU on the Libri-Trans benchmark, on CoVoST 2, our best systems outperform the best supervised end-to-end models (without pre-training) from only two years ago by an average of 5.0 BLEU over five X-En directions. We also report competitive results on MuST-C and CVSS benchmarks.
Translation (by gpt-3.5-turbo)
- 多くの言語において、音声タスクのモデルを訓練するためのラベル付きデータの量は限られています。しかし、音声翻訳では、2つの異なる言語をカバーするラベル付きデータが必要とされるため、データの不足はより深刻な問題となります。この問題に対処するために、我々は最近の非教師あり音声認識、機械翻訳、音声合成の進歩を活用して、ラベル付きデータを使用せずに音声翻訳システムを構築するためのシンプルで効果的な手法を研究しています。これは、パイプラインアプローチで行うこともありますし、エンドツーエンドの音声翻訳モデルの訓練のために擬似ラベルを生成するためにも利用されます。さらに、事前学習された音声モデルのための非教師ありドメイン適応技術を提案し、低リソースの設定において特に下流の非教師あり音声認識の性能を向上させます。実験の結果、非教師あり音声テキスト翻訳は、Libri-Transベンチマークにおいて3.2 BLEUで従来の非教師あり手法を上回ります。CoVoST 2では、最良のシステムは過去2年間の事前学習なしの教師ありエンドツーエンドモデルを平均して5.0 BLEU上回ります。MuST-CとCVSSベンチマークでも競争力のある結果を報告しています。
Summary (by gpt-3.5-turbo)
- 音声翻訳のためのラベル付きデータが限られているため、非教師あり手法を使用して音声翻訳システムを構築する方法を研究している。パイプラインアプローチや擬似ラベル生成を使用し、非教師ありドメイン適応技術を提案している。実験の結果、従来の手法を上回る性能を示している。
https://virtual2023.aclweb.org/paper_P5601.html