Асинхронный парсинг на Python | Ускоряем код в 10 раз | requests, asyncio, aiohttp

Обучение (Web-Scraping) веб парсингу на Python. В данном видео пишем асинхронный парсер на Python, asyncio и aiohttp. Ускоряем сбор данных в 10 раз.

🔥 Доступ в приват | Поддержать проект:

🔥 Стать спонсором канала:

*****Ссылки*****
Дешевый/надежный сервер в Европе:
promo_code:
zomro_246874

Хороший proxy сервис:

Парсинг криптобиржи | Торговый бот | API криптобиржи:

Крутой заказ на фрилансе | Подбираем забытый пароль к Excel файлу с помощью Python:

Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):

Плейлист по распознаванию лиц на Python:

Плейлист по SQL:

Плейлист по парсингу сайтов на Python:

Плейлист по Instagram боту:

Код проекта на github:

И в telegram канале:

*****Соц.сети*****

[BorisenkoV]

Спасибо, asyncio тема! Хотелось бы больше видео на данную тему.

[valarg]

Спасибо за видео, я бы ещё с удовольствием послушал немного именно теории работы с этими библиотеками и почему именно так используем, для лучшего понимания как это применять. Крутое видео)

[endresk]

Может кому пригодится:
Для открытия csv файлов в excel, он перечисляет их сначала каждый символ через запятую
Решается writer.writerow(( ... )) на writer.writerow(
[ ... ]) указание списком.
А потом еще не разделяет их на колонки
Решается writer = csv.writer(file_csv, delimiter=';') Добавлением (", delimiter=';' ")

[Zer-stqv]

Круто! Огромное спасибо тебе за проделанную работу чувак, успехов в развитии!

[MrPavel]

огромное спасибо за понятное объяснение

[spgrxbq]

Спасибо, долго не мог заставить мозг думать асинхронно, хорошее видео

[rustamakhmullaev]

Большое спасибо за урок, добавил в
def main():



Иначе вылетала ошибка после выполнения кода RuntimeError('Event loop is closed') RuntimeError: Event loop is closed


Версия python 3.9

[stykqcd]

да, было бы хорошо больше роликов именно о том как работает асинхронность под капотом

[bankrt.]

Крутая тема, спасибо большое! В прошлый раз у меня были проблемы с гонкой потоков и потери потоков, начал изучать более подробнее и забил) Если сможешь сделать ещё несколько уроков по этой теме будет очень интересно.

[ЗовитеПростоДмитрий]

С time.sleep(1) скрипт из предыдущего урока составил 65 сек. Без данной строчки 18 сек. Выходит, что асинхронный код даёт в данном случае в 2 - 2, 5 раза прирост скорости. Не в 10 раз. А так урок интересный. Большое Вам спасибо!

[mimszcd]

Было бы здорово увидеть еще видео по этой теме, а то что-то мало понятно)

[ЗовитеПростоДмитрий]

В обновлённом коде нет строчки time.sleep(1). Это тоже в разы увеличило скорость работы скрипта. Два скрипта изначально были в неравных условиях по этой причине.

[darksniper]

Лайк поставил, это очень полезная тема.

Вижу любишь язык и программирование, уважаю.

[aleksejborovinskij]

Спасибо за урок) Огромное спасибо тебе!

[foxik_cs]

спасибо тебе за уроки, с 1 выполненной работы скину все деньги тебе)

[khclsgr]

Для тех у кого стоит питон 3.9 и выше :
Если у вас вылетает ошибка: Exception ignored in: <function at или что-то похоже, то вместо "asyncio.run(gather_data()" используйте

p.s
Если что посмотрел на Stackoverflow(Если вы знаете англ хотябы чуть-чуть, то вы там увидите решение)

[kirillshchetiniuk]

Замечание не совсем по теме асинхронности, а про try except, блок except не желательно оставлять в коде без определения какой либо ошибки, так как он будет ИГНОРИРОВАТЬ АБСОЛЮТНО ВСЕ ИСКЛЮЧЕНИЯ, даже keyboard interrupt, поэтому для избежания игнорирования важных системных исключений следует писать хотя бы except Exception, так как в этом случае если получится бесконечный цикл где либо, то его можно будет прервать гораздо легче и быстрее, без надобности килять процесс с выполнением кода. Ну и стоит вообще по максимум избегать этих конструкций, так как во многих организациях они почти во всех случаях запрещены для использования

[sword]

просто супер!! дай бог вам здоровья! Хотелось бы немного поподробней

[NeSpor]

У меня на ноутбуке асинхронный скрипт выполнился за 11 сек а обычный за 46. И я так понимаю что разница зависит еще и от железа и асинхронный код более эффективно использует его потенциал

[sashaperdunov]

У кого не запускается скрипт в функции main():
напишите вместо просто asyncio.run(gather_data())