Парсинг сайтов PYTHON - #1 REQUESTS ЗАПРОСЫ (GET/POST)

preview_player
Показать описание
Парсинг сайтов PYTHON - #1 REQUESTS ЗАПРОСЫ (GET/POST)

Мы разберем парсинг сайтов python, изучим модули
requests, bs4(BeautifulSoup), fake-useragent, multiprocessing.
Напишем много парсеров на питоне, научимся находить нужные нам элементы
на странице, разберем структуру requests запросов, научимся передавать
свои заголовки и свои данные на сайт.

В процессе прохождения курса мы напишем программу для скачивания файлов
с сайта, научимся передавать прокси и юзер-агенты в запрос.
Наглядно рассмотрим то, как спарсить сайт используя уже изученные нами
инструменты. Под конец курса мы также изучим мультипроцессинг для ускоренного парсинга. В процессе данного видео мы рассмотрим основы GET/POST запросов python и узнаем как с помощью этого можно получать данные с сайта.

Используемые библиотеки:
requests, bs4
lxml, fake-useragent
multiprocessing

#ПарсингСайтов #ПарсингСайтовPython #ПарсингPython
Рекомендации по теме
Комментарии
Автор


Не забывайте оставлять свои идеи для следующих видео в комментариях,
большинство из них реализовывается на канале. Также подписывайтесь
на канал, так как именно у нас публикуется отборный материал, который позволит
вам изучать программирование и другие технологии в разы быстрее.

zproger
Автор

Столько всяких тонкостей так подробно и без воды, спасибо!

dmitrys
Автор

Спасибо за видео, всё понятно и без воды)

dimapetrov
Автор

Отличный курс, подача информации на запредельном уровне!

bigcseo
Автор

Ооо, как же по кайфу было записать первый спарсенный html код в html файлик, после кучи написания базового теоретического кода из курса pythontutor. Я не думал, что будет так легко. Благодара!

ANABOLIC_
Автор

Просто супер. Спасибо большое. Достаточно наглядно все разжевано!!!

acidandrey
Автор

mission accomplished
respect+
like+
subscribe+
правильное решение использовать линукс для python (не каждый линукс будет походить). Python на минте гораздо лучше работает чем на винде. Кстати да и само видео вроде неплохо. Кстати быстро тему начал, в многих видео (даже популярных) три часа говорят и две строчки кода объяснили.

______
Автор

Большое спасибо. Хоть вы обьеснили понятным языком

vufbxqd
Автор

Я очень скупой на лайки, но это видео заслуживает лайков я считаю

ktoya
Автор

Может я чего-то не понимаю, но при выгрузке в HTML-файл ответа с сайта там НЕ тоже самое, что в ответе в браузере. Ведь ответом в браузере по тому же полю User-agent является сам браузер, но python-запросом и выгрузкой в файл мы получаем, что User-agent является python-request
К тому же цель - распарсить страницу этого сайта, как оно там есть, но мы не получаем ни версии браузера, ни плагинов и прочей информации на момент обращения к GET-запросу данного сайта - это же не парсинг)
Тут либо пример плохой, либо я даже не знаю. Поправьте, пожалуйста, если где-то ошибаюсь

IrishaChervyak
Автор

Подскажите как вы vs code на минте завели?

Joy_Mama
Автор

Помогите, при парсе сайта выдаёт непонятные символы типо иврита хотя кодинг стоит utf-8 и сайт русский

TERROrek
Автор

Мой первый файл получился с абраказябрами вместо кириллицы. Я так и не понял почему у меня все записалось в utf-16, попробовал второй раз и все уже в utf-8.

fahrenheit
Автор

Почему-то или мне кажется что для работы с библиотекой request все пользуюся Linux-ом?

kerimtim
Автор

круто и меня мучает вопрос как музята на фоне

gvxyjkr
Автор

а что делать если нажимаешь иследовать елемент а там все на англ и подругому как у тебя?

obsi
Автор

Помогите, пожалуйста. Делаю всё как указано, но в итоге получаю AttributeError: partially initialized module 'requests' has no attribute 'get' (most likely due to a circular import)

izgnanikull
Автор

Я вот не понимаю, есть встроенный терминал в ВС код, зачем использовать сторонний и где его вообще брать? Я искал курс с нуля, чтобы узнать эти основы. Ответьте, знающие люди, пожалуйста

mem_v_kruzhochke
Автор

Отличный контен, подскажите пожалуйста что за тема у вашего редактора. Мне понравился зелёный цвет у методов.

plit_kam
Автор

Я единственный который благодаря информации выкачиваю html страницы?😂

rexonayt