Обучение парсингу на Python #2 | Парсинг сайтов | Выполняем заказ на фрилансе

Обучение (Web-Scraping) веб парсингу на Python. В данном видео разбираем на практике работу с библиотеками requests и Beautifulsoup4. Научимся делать запросы, сохранять страницы, парсить из них нужную нам информацию и что немаловажно рассмотрим сохранение данных в файлы json и CSV формата, т.е в таблицы.

🔥 Доступ в приват | Поддержать проект:

🔥 Telegram канал с к кучей ништяков и кодом из видео:

💰 Стать спонсором канала:

Таймкоды:
00:00 - Интро
00:31 - Описание проекта
01:32 - Установка необходимых библиотек
01:55 - Получение и сохранение главной страницы
06:42 - Сохранение данных в JSON файл
08:15 - Замена нескольких символов в строке
10:50 - Получение заголовков таблицы
12:38 - Запись заголовков в csv файл
13:50 - Получение химического состава продуктов со страницы
15:25 - Запись химического состава продуктов в csv файл
17:43 - Создание списка и запись данных в json файл
18:35 - Запуск парсера

*****Ссылки*****
Дешевый/надежный сервер в Европе + СКИДКА 10%:

Хороший proxy сервис:

Обучение парсингу на Python #1 | Парсинг сайтов | Разбираем методы библиотеки Beautifulsoup

Документация Beautifulsoup:

Зарабатываем 7500р на фрилансе | Телеграм бот на aiogram | Парсинг динамического сайта

Скачиваем интернет | Как скачивать файлы с помощью Python:

Работаем с Google Диск на Python:

Парсинг криптобиржи | Торговый бот | API криптобиржи:

Python с нуля | if __name__ == '__main__' | Зачем? И почему нужно использовать

Асинхронный парсинг на Python | Ускоряем код в 10 раз

Парсинг на Python | Подмена IP-адреса | Запросы через прокси

Парсинг динамического сайта на Python + Telegram бот на AIOGram | Requests, AIOGram, API, JSON

Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):

Плейлист по распознаванию лиц на Python:

Плейлист по парсингу сайтов на Python:

Плейлист по Instagram боту:

Плейлист по Linux для новичков:

ККод проекта на github:

И в telegram канале:

*****Соц.сети*****

[PythonToday]

Таймкоды для вас:
00:00 - Интро
00:31 - Описание проекта
01:32 - Установка необходимых библиотек
01:55 - Получение и сохранение главной страницы
06:42 - Сохранение данных в JSON файл
08:15 - Замена нескольких символов в строке
10:50 - Получение заголовков таблицы
12:38 - Запись заголовков в csv файл
13:50 - Получение химического состава продуктов со страницы
15:25 - Запись химического состава продуктов в csv файл
17:43 - Создание списка и запись данных в json файл
18:35 - Запуск парсера

[СБИСБЕЗВОДЫ]

13:50 В Windows в шапке в одной ячейке указаны через запятую - Продукт, Калорийность, Белки, Жиры, Углеводы. Чтобы разместить правильно по ячейкам указываем
with open(f'data/{count}_{category_name}.csv', 'w', encoding='utf-8-sig') as file:
writer = csv.writer(file, delimiter=';')

[mnable]

Вау, удивлен, что такой качественный материал лежит в открытом доступе. Огромное спасибо автору

[ВладимирБорисовский-еч]

Если использовать метод супа .select() вместо .find(), то можно существенно сократить код.
Как пример, на 14:20 минуте видео, строка 80, вместо
products_data =
можно написать
products_data = tbody tr')
Метод .select() позволяет использовать синтаксис как в css, очень удобно

[vert]

Огромное спасибо за полезный материал! Вся теория и боевая практика за два коротких видео, потрясающе!

[jargvsk]

ДЛЯ ТЕХ У КОГО РАЗНАЯ ЕРЕСЬ, ИЛИ ПРОСТО БЕЛЫЙ ЭКРАН ВМЕСТО СИМВОЛОВ, пропишите в строке сохр файла (with open("index.html", "w")), encoding="utf-8", тоесть должнл получится with open("index.html", "w", encoding="utf-8") as file: .

[aharito]

Класс! меня бесят видеоуроки, потому что в них плотность инфы 5%. Весь часовой урок можно изложить в полстраницы текста. А у вас - браво! По-моему, максимально возможная степень сжатия, причем не во вред усвоению. Благодарю, профессионально!

[andreykonovalov]

Во-первых, спасибо и низкий поклон! Объяснение просто потрясающее, четко, лаконично, просто и доступно!
Во-вторых, у тебя потрясающие педагогические данные! Очень круто, что ты нашел ему применение и очень надеюсь, что твой труд не проходит бесследно и для тебя в том числе, потому что для зрителя, особенно новичка в деле - все очень здорово и доступно!

Желаю развития твоему каналу, а тебе неиссякаемой энергии на довольно не простое дело - обучение других людей!
СПАСИБО!

[dayf]

Спасибо за видео! Только начинаю, не везде до конца понимаю, но контент супер! На голову выше того что раньше смотрел

[anastasianapoli-lh]

Спасибо! Классный материал, спасибо за то, что показываешь дополнительный функционал и лайфхаки в добавок к минимуму по задаче

[Ocinu]

Великолепный плейлист! Спокойный уравновешанный голос, грамотные объяснения без лишней воды и пробелов. Автор, так держать! От себя: хотелось бы отдельное видео по обходу блокировок на сайтах типа букмекерских кантор или бирж

[Worldofpc]

Большое спасибо. До этого видео не мог даже связать заголовок и дату публикации через парсер. А тут целая таблица и все понятно. Отличная подача материала)

[volodymyr]

Огромное вам спасибо, всё доступно, без воды ну и реальная практика! Продолжайте в том же духе!

[keepo]

Огромное спасибо за твой труд! Взращиваешь будущих программистов!

[edelicht]

Супер контент! Второй час ночи, но таки получилось спарсить расписание и маршрут местных автобусов, опираясь на данное видео :)
Большое спасибо!

[andranik]

Если столкнулись с проблемой, что в csv файле после каждой строки ставится пробел, используйте
writer = csv.writer(file, lineterminator='\n')

[myata]

Огромное спасибо, очень понравилась подача, смотрю вас уже 3 месяц если не больше, подача великолепная, других специалистов по python смотреть скучно, а у вас прям, тянет смотреть дальше и дальше, не останавливаясь.

Поставил лайк

[gregoxSh]

Огромное спасибо! По вашим урокам учится весело!

[amakkaa_]

Второе ваше видео которую активно просматриваю и разбираю на части для себя. Благодаря вам, пишу тестовое задание от компании в которую хочу устроиться на стажировку! Дедлайн через три дня, 70 % работы сделано с вашей помощью! Просто знайте, что вы вносите важный вклад для всех начинающих программистов. Бишкек, Кыргызстан.

[ТоликРолик-мя]

Большое спасибо за видео! Всё очень информативно, понятно, без воды и с кучей практики. С твоей помощью постепенно постигаю парсинг.