Генерация текста при помощи моделей редактирования | Text Generation with Text Editing Models

Александр Чуклин, Google, Цюрих, Швейцария
Aleksandr Chuklin, Google, Zürich, Switzerland

Модели редактирования текста стали в последнее время заметной альтернативой моделям seq2seq для таких задач генерации текста как исправление грамматических ошибок, упрощение текста, и перенос стиля.
Эти задачи объединяет одно свойство — большое пересечение между оригинальным и желаемым текстом. Модели редактирования используют эту особенность, и учатся генерировать желаемый текст предсказывая операции редактирования применительно к оригинальному тексту.
Такие модели имеют ряд преимуществ перед моделями seq2seq, включая более высокую скорость предсказания, более эффективное обучения на данных небольшого размера, и лучший контроль и интерпретируемость выходного текста.
В этом докладе Александр провел обзор моделей редактирования текста и современных подходов, а также проанализировал их плюсы и минусы.

In this talk we provided an overview of the text edit based models and current state-of-the-art approaches analyzing their pros and cons.
Text editing models have recently become a prominent alternative to seq2seq models for monolingual text-generation tasks such as grammatical error correction, text simplification, and style transfer.
These tasks share a common trait — they exhibit a large amount of textual overlap between the source and target texts. Text editing models take advantage of this observation and learn to generate the output by predicting edit operations applied to the source sequence.
Such models provide several benefits over seq2seq models, including faster inference speed, higher sample efficiency, and better control and interpretability of the outputs.

Speech was in English