Перенос стиля текста (англ. text style transfer) — это популярная на данный момент NLP-задача. В своей статье (Hu et al., 2022) авторы предлагают обобщение по проведённым исследованиям на эту тему и предлагают соответствующую таксономию.
Ближайшими задачами задаче TST из мира NLP и других областей стали генерация текстов, машинный перевод с помощью нейронных сетей и собственно перенос стиля, который изначально позиционируется как задача компьютерного зрения, то есть работа с картинками.
Работы по TST предоставляют несколько форматов того, как могут выглядеть данные для обучения моделей. Самый удачный вариант — это когда для обучения моделей присутствуют параллельные данные, то есть однозначные соответствия между текстом в одном стиле и в другом. К сожалению, таких датасетов очень мало. В связи с этим часть работ посвящена тому, как решать задачу переноса с помощью непараллельных данных: корпусах, где стили известны, но нет однозначных соответствий и корпусах, где меток стиля нет вообще.
Самое неоднозначное понятие в задаче переноса стиля — это сам стиль. Работы по TST в данном направлении делятся на три типа:
Стиль зависит от конкретных слов в тексте (explicit disentanglement);
Модель обучается стилю и записывает его в скрытые представления (implicit disentanglement);
Стиль и контент не разделяются (without disentanglement).
Для проверки моделей используются специальные критерии:
transfer strength — насколько хорошо модель перенесла стиль,
content preservation — насколько модель хорошо перенесла смысл текстов,
fluency — насколько предложения правильны и грамматичны.
Каждое из свойств оценивается либо вручную, либо чаще специальными метриками качества (например, BLEU и Transfer Strength Accuracy)
На основе всего выше перечисленного авторы делают своё исследование качества моделей на датасетах Yelp Reviews (перенос тональности) и GYAFC (формальные и неформальные тексты). Исследователи взяли 19 моделей, которые представляли разные подходы к разделению стиля и контента, и оценили их с помощью метрик для каждого из критериев переноса стиля, провели их лингвистическую оценку и ещё несколько экспериментов. Общий вывод таков, что модели в принципе достаточно плохо справляются с задачей переноса стиля.
Таким образом, перенос стиля текста — это интересная, но достаточно сложная задача. Модели, обученные для TST, могут быть использованы для переноса различных стилей (перенос стиля автора, детоксификация и т.д.). Такие наработки используют в приложениях для письма, чат-ботах, при создании убедительных текстов для достижения маркетингового успеха. Авторы считают, что будущее TST за подзадачей Multiple-attribute style transfer, то есть за идеей о том, что на стиль текста влияет много факторов одновременно. Однако для её успешного осуществления требуется улучшение датасетов и метрик качества.
Вопросы для обсуждения:
Какая подзадача переноса стиля понравился Вам больше всего? Какая подзадача кажется Вам более лёгкой или более сложной задачей?
Transfer strength: какие проблемы есть у этого свойства и соответствующей метрики? Какие есть идеи для их решения? Можете ли Вы предложить какую-то метрику взамен?
Как вы относитесь к разделению стиля и контента? Считаете ли Вы его необходимым?
4*. Что такое стиль? Почему стиль не лягушка?
Статья
Hu et al., 2022 — Zhiqiang Hu, Roy Ka-Wei Lee, Charu C. Aggarwal, Aston Zhang, Text Style Transfer: A Review and Experimental Evaluation, 2022. Ссылка на статью: https://arxiv.org/pdf/2010.12742.pdf Ссылка на презентацию: https://docs.google.com/presentation/d/1ASMO1VP0Xv3bSiBbhlBP9dVDLpLTje8AEFRxIKI5WiI/edit?usp=sharing
Краткое содержание
Перенос стиля текста (англ. text style transfer) — это популярная на данный момент NLP-задача. В своей статье (Hu et al., 2022) авторы предлагают обобщение по проведённым исследованиям на эту тему и предлагают соответствующую таксономию. Ближайшими задачами задаче TST из мира NLP и других областей стали генерация текстов, машинный перевод с помощью нейронных сетей и собственно перенос стиля, который изначально позиционируется как задача компьютерного зрения, то есть работа с картинками. Работы по TST предоставляют несколько форматов того, как могут выглядеть данные для обучения моделей. Самый удачный вариант — это когда для обучения моделей присутствуют параллельные данные, то есть однозначные соответствия между текстом в одном стиле и в другом. К сожалению, таких датасетов очень мало. В связи с этим часть работ посвящена тому, как решать задачу переноса с помощью непараллельных данных: корпусах, где стили известны, но нет однозначных соответствий и корпусах, где меток стиля нет вообще. Самое неоднозначное понятие в задаче переноса стиля — это сам стиль. Работы по TST в данном направлении делятся на три типа:
Для проверки моделей используются специальные критерии:
Каждое из свойств оценивается либо вручную, либо чаще специальными метриками качества (например, BLEU и Transfer Strength Accuracy) На основе всего выше перечисленного авторы делают своё исследование качества моделей на датасетах Yelp Reviews (перенос тональности) и GYAFC (формальные и неформальные тексты). Исследователи взяли 19 моделей, которые представляли разные подходы к разделению стиля и контента, и оценили их с помощью метрик для каждого из критериев переноса стиля, провели их лингвистическую оценку и ещё несколько экспериментов. Общий вывод таков, что модели в принципе достаточно плохо справляются с задачей переноса стиля. Таким образом, перенос стиля текста — это интересная, но достаточно сложная задача. Модели, обученные для TST, могут быть использованы для переноса различных стилей (перенос стиля автора, детоксификация и т.д.). Такие наработки используют в приложениях для письма, чат-ботах, при создании убедительных текстов для достижения маркетингового успеха. Авторы считают, что будущее TST за подзадачей Multiple-attribute style transfer, то есть за идеей о том, что на стиль текста влияет много факторов одновременно. Однако для её успешного осуществления требуется улучшение датасетов и метрик качества.
Вопросы для обсуждения: