Парсинг сайтов PYTHON - #2 Работа с BEAUTIFUL SOUP (BS4), FAKE-USERAGENT

preview_player
Показать описание
Парсинг сайтов PYTHON - #2 BEAUTIFUL SOUP, FAKE-USERAGENT

В данном видео мы будем использовать bs4 python и его методы для того, чтобы
получить необходимые значения с html страницы, которую мы получаем используя
запросы (request python), также будем использовать fake useragent, чтобы имитировать
реальное устройство.

Мы разберем парсинг сайтов python, изучим модули
requests, bs4(BeautifulSoup), fake-useragent, multiprocessing.
Напишем много парсеров на питоне, научимся находить нужные нам элементы
на странице, разберем структуру requests запросов, научимся передавать
свои заголовки и свои данные на сайт.

В процессе прохождения курса мы напишем программу для скачивания файлов
с сайта, научимся передавать прокси и юзер-агенты в запрос.
Наглядно рассмотрим то, как спарсить сайт используя уже изученные нами
инструменты. Под конец курса мы также изучим мультипроцессинг для ускоренного парсинга. В данном видео мы узнаем как собирать полученные данные с помощью модуля beautiful soup и как пользоваться fake-useragent для генерации уникальных юзер-агентов.

Используемые библиотеки:
requests, bs4
lxml, fake-useragent
multiprocessing

#ПарсингСайтов #ПарсингСайтовPython #ПарсингPython
Рекомендации по теме
Комментарии
Автор


Не забывайте оставлять свои идеи для следующих видео в комментариях,
большинство из них реализовывается на канале. Также подписывайтесь
на канал, так как именно у нас публикуется отборный материал, который позволит
вам изучать программирование и другие технологии в разы быстрее.

zproger
Автор

Господи, ура! Целую неделю пытался найти нормальные видео по парсингу данных, уже отчаялся и тут появляетесь вы со своими прекрасными объяснениями! Спасибо)

КириллЛисович-вп
Автор

Классно что хоть кто-то рассказывает про работу модулей, очень интересно и полезно, побольше бы разных модулей

АлександрОрачев
Автор

Отличный курс! Все понятно и кратко. Лаконичность это большой плюс. Спасибо)

ЭрикМамбергер-кн
Автор

Офигенные уроки. Когда просто бегло смотрел, казалось всё элементарным. Начал повторять и документировать - сразу увидел, сколько же тут нюансов. Очень хорошо проработаны занятия, есть возможность, посмотрев один пример, поставить на паузу и дальше делать самому для закрепления. Многое всё ещё очень поверхностно понимаю в плане того, как оно вообще работает, но в целом всё получается :)

maksonaladin
Автор

Чувак, спасибо. Смотрел кучу уроков, нифига не было понятно, а тут получилось!)

fatherlandboy
Автор

первый человек кто про парсинг на питоне ОБЪЯСНЯЕТ, а не рассказывает

ИванИванов-эхъ
Автор

Ты просто лучший, не изучая парсиинг начал заниматься этим по видосу, когда шел строго по видел все работало нормально)) еще бы оно не работало так то, но как начал сам то сразу застрял, и потом нашел твои ролики, тут ты все понятно и с примерами объяснил. От всей души спасибо 🤝

abris_
Автор

Огромное спасибо за серию видосов, какраз хотел научиться делать парсеры, очень круто все объясняешь!

seraphim
Автор

Не знаю почему, но я кайфую с такого спокойного голоса

timon
Автор

а вот это объяснение хорошее! Спасибо за материал!

rmwituu
Автор

за эти 14 минут я понял больше чем за 14 дней проведенный в ютублении

_white_name_
Автор

Спасибо, по уроку делал все, но с другим сайтом, все идеально получилось еще в процессе кое что добавил

ВладиславАврелий
Автор

Отлично, материал зашел на ура, осталось только потренироваться для закрепления пройденного.
Оказалось html разный приходит если запрос с куками лии без.

fahrenheit
Автор

Супер подача материала, с меня лайк, а с Вас ЕЩЕ БОЛЬШЕ КОНТЕНТА😄

ivanbozhko
Автор

Познавательно! Умеешь объяснять и это круто.

GFU
Автор

спасибо огромное ! видос вроде короткий но очень содержательный .

Bondik
Автор

Отличный видос, сильно помог подробными разъяснениями

codelearner
Автор

отличное видео, спасибо автору за труд)

pepemem
Автор

На удивление, с моим знаниям довольно маленьким знаниям Пайтона, я смог получить курс евро, и вывести его в консоль, там правда айди не было, а класс

neilwilson