Nodejs Scraper[parser] 🚀 - добавляем параллелизм (async/queue)

Привет, друзья! в этом видео мы добавим параллельное выполнение запросов к нашему скраперу, который был написан в первом видео (ссылка ниже),
и таким образом ускорим ускорим наш скрапер (в интернетах люди ищут parser node js или парсер на javascript,
поэтому я тут это оставлю с вашего позволения).

Будем использовать модуль async и его метод queue, он позволяет не только добавлять задания в очередь,
но и указывать сколько именно таких заданий может выполняться одновременно (т.н. concurrency).

Помимо этого мы немного доработаем работу puppeteer, а именно оптимизируем создание и закрытие браузера.

Надуюсь видео вам понравится и у меня появятся новые подписчики, приятного просмотра!

Ссылки:

[mikkaruru]

Очень круто! Спасибо! Не бросай канал, пожалуйста!

[mikhailreznichenko]

Офигеные видосы у тебя, продолжай в том же духе!!!

[gitarmengitarmenovich]

Супер, спасибо большое, зачетный контент, и первый видос тоже отличный, хотелось бы еще глянуть работу с PhantomJS, в чем его преимущества, недостатки, когда нужно использовать, когда не стоит

[ПОЛЯКЛАТЫШ]

ЧУВАААААААААААААК ПРОДОЛЖАЙ ВЫПУСКАТЬ ВИДЕО

[kiryaafimin]

Привет! Хорошие видео, без воды. Хотелось бы увидеть, как работать с прокси и авторизацией

[mir]

Всех Благ и Быть Добру! Здравия! Было-бы хорошо увидеть, как подобную информация заливать на свой сайт и мониторить новинки удаляя старые (проданные) авто со своего сайта меняя контент. Благодарю!

[seriiioga_fx]

Действительно круто, тем более на русском ютубе, про папетер вообще видео почти нет - однозначно лайк😁

[eugenegronski]

Бомба! Спасибо за то, что поделился знаниями!

Можешь сделать урок, в котором бы показал как отслеживать динамически, к примеру, по дате публикации новые объявления. Спасибо что прочитал комментарий)

[sergey-vkm]

Концовка топ 😁 счастливый индус с апворка взял заказ))

[uracan]

Отличное видео. Сделай плиз про обработку огромных фаилов json, который весит например 300мб, в stream режиме. Например отсортировать такой фаил или вытащить определенные данные

[maksymdudyk]

Супер. Если создать еще и серию уроков по скрейпингу, то от покупателей отбоя не будет.

[ruslan]

Крутое видео, спасибо! Сделай видос как парсить разные сайты одновременно

[tattooedvl]

добрый день, релизуемо ли будет сделать следующее: делаю тг-бота (Сейчас все готово лишь с моей созданной бд для пробы, где лежат фильмы с их данными, кинотеатры с локациями и тд, могу выводить фильмы, в каких они кинотеатрах, какое расстояние и переход на сами сайты), который по локации будет показывать кинотеатры моего города с их сеансами и тд? И если да, правильно ли понимаю, что нужно тоже писать скрапер для вытаскивания "динамики"?

[denial]

DUCK DUCK JS: Почему-то ошибка TypeError: done is not a function

[vitaliylufter]

А зачем там папитиир? Разве обычный http запрос не намного быстрее?

[Скыбыдыщь]

Жаль жаль, что ты новые видики не пилишь

[sendspace]

Как полученные данные записать в базу MySQL или в CSV файл?

[Karlrus]

Как обойти 429 респонс "too many requests"? Кто успешно смог? Я немного не так парсинг делаю, то есть без доп. библиотек. Хотя, думаю, у этой либы под капотом такой же Promise.all работает. Я это к чему. Я в 3 потока фигачу. Через 18 запросов меня отрубают. Как можно проксировать? Или прокси листы какие-то платные может кто знает?