Обучение парсингу на Python #7 | Парсинг сайтов на фрилансе | Requests, Beautifulsoup

Обучение (Web-Scraping) веб парсингу на Python. В данном видео выполняем заказ на фрилансе по парсингу сайта с помощью библиотек requests и Beautifulsoup4. Научимся делать запросы, сохранять страницы, парсить из них нужную нам информацию, а после сохраним данных в файлы json и CSV формата, т.е в таблицы.

💰 Поддержать проект:

🔥 Стать спонсором канала:

*****Ссылки*****

Дешевый/надежный сервер в Европе:
promo_code:
zomro_246874

Хороший proxy сервис:

Крутой заказ на фрилансе | Подбираем забытый пароль к Excel файлу с помощью Python

Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):

Плейлист по распознаванию лиц на Python:

Плейлист по парсингу сайтов на Python:

Плейлист по Instagram боту:

Код проекта на github:

И в telegram канале:

*****Соц.сети*****

[vigauss]

Уже традиция утро воскресенья начинать с практики) Это тебе большое спасибо, что делишься знаниями! И благодарность всем, кто поддерживает канал. Спасибо тебе за обучение, за код и за то, что тратишь своё время, успехов в развитии, лучший канал по программированию.

[ТоликРолик-мя]

Спасибо большое за видео! Твои видео помогают в обучении программированию, вдохновляют и пробуждают интерес при обучении.

[orthodox-chanel]

Интересный факт: в карточках с часами в контейнере с классом product-item есть атрибут data-analitics в нем можно найти много полезных данных в том числе и цену( в новой верссии сайта цену найти можно теперь только в этом атрибуте). Данные в атрибуте как бы в формате json но как бы являются строкой по этому их нужно немного преобразовать чтобы записать значения в словарь, а потом по необходимости сам словарь записать в json
вот как у меня это получилось, интересно было вспомнить основы и потренироваться

soup = BeautifulSoup(html, 'lxml')
cart = soup.findAll('div', class_='product-item')
for i in cart:
data = dict(tuple(y.replace("'", "").replace('{', "").replace("}", "") for y in x.split(":")) for x in i.get('data-analitics').split(', '))
print(data)

[myata]

Приятно смотреть вас, даже когда ложусь спать, я смотрю ваши видео, это как дофомин, без вашего видео сложно уснуть😂

[Chipby]

Офигенно просто! Привет! Пойду попробую, что нить написать ) В поддержку канала! И еще пару слов!

[inmotion]

очень полезные видео .
таких полезных видео я даже не видел на платных курсах .

[ИванШлык-нх]

Спасибо вам за труды) ответили почти на все вопросы которые я так и не задал)

[Кучерявий-щн]

Спасибо за выпуск!
Котейку верните!!!! Она(он) настроение поднимает :)

[Bazilit]

Спасибо за урок! Лайк!
Тем кто решит потренироваться на сайте. Цены там сейчас нет. Попробуйте вытащить ссылку на изображение самих часов.
Там изображение загружается с подвохом.
Selenium поможет решить эту проблему, но для саморазвития попробуйте в ручную его достать и загуглите про "data-src" и "data-srcset".

[Reident]

Спасибо тебе большое, за то что делишься знаниями!)

[Камон-уэ]

Довольно таки годно, спасибо за порцию новой инфы.

Оооочень хотелось бы в следующий раз увидеть парсинг с обходом капчи.
А лучше сделать выпуск с обходами сразу нескольких видов капч🙏

[afonyahonda]

Спасибо большое за видео! Выходные как всегда практика! С URL ошибка выходит, но на основе другого сайта все получилось неплохо! Здоровье тебе автор! Всех благ!

[fominfomin]

Большое спасибо за видео и за такие крутые обучения!
Такой вопрос, а можете сделать также видео обучение парсингу Google Map? Например, когда нужно в неком городе найти на карте координаты всех заведений общественного питания (рестораны, кафе и т.п.).

[fromillia]

Ты - крутой ментор и у тебя крутой контент, так что плиз Не пропадай. С меня пока что лайки и подписка. И спасибо тебе за твой труд.

[dendisega]

Спасибо, приятно учиться по твоим видео.

[ВладЯрмолюк-рл]

Отличный урок, спасибо! У кого то можем быть проблема что файл записывается пустым. Добавьте кодинг
with open("data/page_1.html", "w", encoding= "utf-8") as file:
file.write(r.text)

[Jon_Britva]

00:15 Описание ТЗ клиента
00:43 Благодарность особым подписчикам канала
00:56 Начало кодинга
01:58 Первый запрос на страницу
03:01 Пояснение для юзеров Windows по кодировке
03:48 О пагинации сайта
04:56 Анализ пагинации сайта
05:00 Кодинг пагинации
14:35 Создание JSON файла
15:03 Экспорт данных в таблицу CSV

[poggycat]

Отличный выпуск. Очень все наглядно и понятно. Огромное спасибо автору! :-) Я по этим видео свой первый парсер написал, для сбора проксей)

[sisoniykvitaliy]

Круто, полезно, молодець, давайте продолжайте

[Mexantoos]

мне одному итересно как он модули добовляет так быстро?))) большое спасибо за полезную инфу)))