Как разбить русский текст на токены | Обработка естественного языка

preview_player
Показать описание
Библиотеки для токенизации текста на Python

00:00 - Токенизация теста
01:56 - Токенизация с NLTK
03:03 - Токенизация с TensorFlow
05:44 - Токенизация со spaCy

Библиотеки для токенизации текста:

Проект реализуется победителем Конкурса на предоставление грантов преподавателям магистратуры благотворительной программы "Стипендиальная программа Владимира Потанина" Благотворительного фонда Владимира Потанина"

  1. Andrey Sozykin
Рекомендации по теме
Как разбить русский 0:06:50

Как разбить русский текст на токены | Обработка естественного языка...

Как разделить текст 0:04:25

Как разделить текст на колонки в Ворде ➤ Возможности Word...

Перенос слов. Как 0:05:14

Перенос слов. Как правильно переносить слова с одной строчки на другую?...

Как поставить ударение 0:02:02

Как поставить ударение и разделить слово на слоги

Фонетический разбор слова. 0:08:58

Фонетический разбор слова. Как сделать звуко-буквенный разбор?...

Как разделить текст 0:02:41

Как разделить текст по столбцам в Excel. Как разбить текст на части...

Как делить слова 0:06:45

Как делить слова на слоги? Простые способы деление слов на слоги...

Его голос очень 0:00:27

Его голос очень низкий #Shorts

#8 Django 'Интернет 2:36:49

#8 Django 'Интернет магазин' (Часть 2)

Как включить свет 0:00:19

Как включить свет в клавиатуре

Как урыть если 0:00:50

Как урыть если сказали...

Как озвучить текст 0:01:51

Как озвучить текст и разбить аудио на отрезки

Как разбить текст 0:02:06

Как разбить текст по столбцам в сsv файлах? How-To #24

подкиньте идей, люди 0:00:15

подкиньте идей, люди добрые😭 #trend #trending #subscribe #тренды #meme #edit...

ужасные трещины на 0:00:39

ужасные трещины на языке

🔥 КАК ПРОКАЧАТЬ 0:00:58

🔥 КАК ПРОКАЧАТЬ СВОЙ ГОЛОС?

береги свой пирсинг, 0:00:42

береги свой пирсинг, брат

Очень интересная загадка 0:00:15

Очень интересная загадка на сообразительность

У школьников отберут 0:00:14

У школьников отберут мобильные телефоны

Как делить изложение 0:06:52

Как делить изложение на абзацы? [IrishU]

Как разбить текст 0:02:38

Как разбить текст на абзацы в инстаграмм

Как разделить PDF 0:03:07

Как разделить PDF на страницы или на части за 1 минуту

Пацан убил котенка(мягко 0:00:14

Пацан убил котенка(мягко говоря) и теперь с ним также зделают в скором времени...

Нормы Веса При 0:00:15

Нормы Веса При Росте У Девочек🎀💞

Комментарии
Автор

Андрей, большое спасибо за предоставление информации в четком и доступном для понимания формате) Перешла на Ваш канал по рекомендациям в комментариях другого канала, и вот уже в течение пары часов изучаю подготовленный Вами материал. Я считаю, Вам просто необходимо оформить спонсорскую подписку, потому что Ваш труд огромен, и хочется выразить свою благодарность не только в обычном «спасибо»

drozdolet
Автор

Андрей, здравствуйте! Обучаюсь на разработчика по госпрограмме. Ваши курсы и отдельные уроки очень расширяют и углубляют мои знания. По первому образованию я - филолог, мне тема обработки естественного языка крайне интересна. Большое Вам спасибо за возможность бесплатного доступа. На этапе обучения это очень поддерживает. Так хочется, чтобы возможности обработка русского текста не уступали возможностям работы с английским.

vdfbrnt
Автор

Большое спасибо, отлично организованный урок!

chessketeer
Автор

Благодарю вас, можно вашу консультацию

stihcul
Автор

Класс! Как раз решал, какой токенизатор использовать из популярных. Вопрос по смежной теме: а что есть по восстановлению пунктуации, когда ее нет вообще?

olegpopov