Лекция 13. Разметка последовательностей: local classifiers, HMM, Structured Perceptron, CRF

Лекция №13 курса «Введение в обработку естественного языка » (осень 2019).
Преподаватель — Антон Михайлович Алексеев
Категория

[antonalekseev]

2:26 Частеречная разметка
9:28 Выделение именованных сущностей
14:44 Разметка последовательностей
17:20 "Локальные" классификаторы и разработка признаков
23:13 (Скрытые) марковские модели
29:53 Алгоритм прямого прохода (forward algorithm)
53:13 Алгоритм Витерби
1:09:49 Обучение (пара слов)
1:10:50 Ответ на заданный вопрос об алгоритме прямого прохода
1:13:52 Обсуждение и переход к другому классу моделей
1:16:11 Линейные модели
1:22:27 Структурный перцептрон
1:29:31 Генеративные и дискриминативные модели
1:32:07 Условные случайные поля
1:48:10 Данные, инструменты
1:53:25 Ответ на вопросы о домашней работе

[alexeysukhinin]

21:58 - натравливать LSTM на word2vec'и. Сразу после лекции про word2vec построил векторное пространство слов по одному из новостных датасетов. Думал, каким образом обработать входящую последовательность слов после приведения каждого слова к векторному виду. Я не знаю, что такое LSTM (не досмотрел ещё), но сама фраза звучит, как формула успеха для проекта, в котором я участвую. Ато как-то в голове не укладывается, как применить линейные классификаторы, с которыми я хорошо знаком, к изменяющимся по длине сообщениям пользователей. Предварительное складывание векторов в один вектор не годится - на коротких сообщениях очень много информации потеряется, если еще и на порядок не обращать внимания. Интрига сгустила воздух до плотности стали уже... Надеюсь, что в грядущих лекциях будет что-то про выкусывание числовых и строковых параметров :-)