Парсинг на Python, Selenium и BS4 | Выполняем заказ на фрилансе | Парсинг динамического сайта

Фриланс. Обучение (Web-Scraping) веб парсингу на Python. В данном видео выполняем заказ взятый на фрилансе по парсингу динамического сайта. Выполняем задачу с помощью библиотек Selenium, Beautifulsoup, requests, urllib и регулярных выражений. С записью данных в JSON файл.

🔥 Доступ в приват | Поддержать проект:

🔥 Стать спонсором канала:

*****Ссылки*****
Дешевый/надежный сервер в Европе + СКИДКА 10%:

Хороший proxy сервис:

Парсинг криптобиржи | Торговый бот | API криптобиржи:

Как отправить сообщение на почту с помощью Python | Email рассылка | Python send Gmail

Асинхронный парсинг на Python | Ускоряем код в 10 раз

Крутой заказ на фрилансе | Подбираем забытый пароль к Excel файлу с помощью Python:

Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):

Плейлист по распознаванию лиц на Python:

Плейлист по парсингу сайтов на Python:

Версии Chromedriver:

Код проекта на github:

И в telegram канале:

*****Соц.сети*****

#scraping #webscraping #парсинг #requests #python #фриланс #beautifulsoup #selenium

[lcbnnoi]

[INFO] актуальная инфа по данному уроку

Для тех у кого не получается проскролить, так как в конце скролла страницы, не появляется тег с сообщением о том, что дальше скролить некуда. Присмотритесь к тегу к которому мы перемещаемся для скролла. Внутри тега есть еще два тега, но при полном проскроливане страницы, эти теги исчезают. Ставьте условие не по наличию нового тега, а по отсутствию любого из внутренних двух. При таком условии весь код в блоке if из видео, переместится в блок else, аналогично для блока else из видео для блока if

+ Для внимательных перфекционистов. Не все карточки попадут в список карточек. Если просмотреть все карточки на странице с карточками, можно увидеть, что у некоторых слегка затемнен фон. Посмотрев на тег такой карточки, мы увидем, что в название класса добавляется дополнительное слово, что изменяет имя класса и означает что url к нам в список не попадет. Сами же карточки внутри не отличаются от остальных, не являются рекламными или повторяющимися (проверено), может они просто блатные какие то - хз. Для того чтобы они тоже попали к нам в список можно воспользоваться тем же compile() с названиями обеих карточек.

++ Для тех кто еще не работал с Selenium и вам не нравиться, что он ругается на вас(но все равно работает😎), за устаревшие методы как в видео.
Для создания драйвера можно использовать это 👇
from selenium import webdriver
from import Service

service = Service('ПУТЬ К ДРАЙВЕРУ\chromedriver.exe')
driver =

За место этого (как в видео)👇
from selenium import webdriver

driver = webdriver.Chrome('ПУТЬ К ДРАЙВЕРУ\chromedriver.exe')

А для поиска по классу можно использовать это 👇
driver.find_element(by=By.CLASS_NAME,
Предварительно импортируя это 👇
from selenium.webdriver.common.by import By

За место устаревшего поиска как в видео👇


+++ Для PythonToday. Ты красавчик большое спасибо❤

[gaben_aTan]

Спасибо огромное за Ваш труд. Вчера закончил написание парсера группы в ВК и автоматической отправкой стат данных по постам в группе на почту нескольким сотрудникам. Все благодаря вашим урокам!! Настроение бомбическое, когда все получается!

[karugananikoyomi]

Огроменное спасибо за твои труды, двигайся дальше. У тебя очень полезные видео. С помощью твоих видео люди сэкономят кучу времени и нервов!

[Morozov_Anton]

Материал просто огонь! Спасибо за труды!;)

[Roman_]

Просто лучший!! Без воды и отлично обьясняешь)

[dkljrin]

Я хоть и джава программист, смотрю твои видосики и вообще начал изучать парсинг благодаря тебе. Спасибо за видео

[grigoriyeltsov]

Большое спасибо за качественный материал! Каждый урок пишу и "иду" по коду, чтобы все понять. Спасибо!

[vigauss]

Пушка контент, огонь канал, кот талисман)) Успехов в развитии брат, безумно благодарен за проделанную тобой работу и пинок лично для меня. Спасибо тебе большое!

[aleksnk]

Красиво, четко, лаконично и еще и работает!!!) Канал находка для меня, благодарю за такой качественный контент)

[AleksKinokusMain]

Все мы были нубами. Так что - спасибо, за то что делишься своими навыками. А еще это ж опыт!

[irnnnke]

🔥🔥🔥 Как всегда урок СУПЕР!!! Огромное спасибо!!! (я только-только начинаю самостоятельно изучать Python, пока на самом примитиве)

[nicolasrudnev]

Огромное спасибо! Всегда с удовольствием слушаю и с удовольствием поддерживаю!

[windcrack]

Благодарю за видео. Толко обучился python, и уже такой бомбический канал, по Парсингу сайтов. Когда проходил задание на обучении этому, помогли Ваши уроки :).

[-_--nnix]

Спасибо большое за видео! Очень доходчиво и полезно) хотелось бы ещё уроков на библиотеки, которые ты используешь, более подробно)

[devus]

Огромное спасибо. Все просто и доходчиво! Без всякой "воды" и перескакивания !!!!

[wohdige]

Спасибо за труд и за полезную информацию. Очень понятно объясняешь. Круто!

[algis_sh]

Как всегда пушка - огоньСмотришь и просто кайфуешь, кучу полезной инфы с каждым просмотренным видосом приобретаю

[syncope]

Идея дать эксклюзивного контента практики удалась на ура. Я даже не думал что практики так не хватает во всяких контентах. Безумно благодарен.

[vladimir-monin]

Спасибо за видео! Очень вдохновляет!!!

[xvshlpo]

Очень полезное видео,
Узнал много нового .
Спасибо за подробное объяснение!