Как ускорить Transformer и не потерять в качестве / Максим Зубков

VK Lab Talks, 18 февраля 2021.

В прошлом году мы уже рассказывали, как можно эффективно обучать Transformer — ведущую модель в NLP на сегодняшний день. Сейчас появились ещё более крутые способы!

С докладом по этой теме выступил лаборант Максим Зубков, четверокурсник бакалавриата ФПМИ. В Лаборатории он занимается моделями, обрабатывающими естественный язык: изучает, как адаптировать их для работы с длинными последовательностями. А на встрече Максим рассказал, как тренировать самые быстрые модели для обработки текста, какие проблемы при этом могут возникнуть и как мы в VK Lab пробуем их исправлять.