Пишем парсер на Python за 30 минут

У «Девмана» есть бесплатные уроки по самым популярным темам.
Попробуйте по ссылкам ниже:

Чтобы начать программировать, просто начните программировать :)

____________________________________________
О чём этот мастер-класс?

Для парсинга воспользуемся волшебным фреймворком Scrapy
и магическими yield.
Для вёрстки — фреймворком Bootstrap, шаблонизатором jinja2
и обёрткой staticjinja.

Запустите скрипты прямо во время просмотра видео и экспериментируйте.

____________________________________________
Присоединяйтесь к нашим группам в соцсетях:

Заходите в нашу Телеграм-флудилку:

[СергейЧабан-ъю]

Наконец то понятно по yield. Спасибо!

[TheUkoder]

По-моему цель ролика не объяснить как и что, а запуГать (или запуТать), чтобы зритель подумал "ну нах, лучше я у этого волшебника закажу готовое"

[denefty]

Бро спасибо тебе за видео! Это самый лучший туториал на тему! Классс!

[sashapodolyan]

Скажите, будут еще подобные уроки по scrapy? Интересно посмотреть на дальнейшую реализацию проекта.

[Клокворк-пд]

Спасибо за видео! Но очень быстро все, много инфы мимо ушей) Хотелось бы более подробно.. мне как новичку сделать за 30 минут не важно, а важно хотя бы сделать))

[ВадимКозячий]

Очень крутое видео, делай побольше таких видео) спасибо огромное))

[efreetomsk]

Поклон за видео! НО!! ничего страшного не было, если бы ты делал это медленно) я новичок и не поспеваю за тобой)) еще раз спасибо за видос! Очень надеюсь что будут еще видео по Scrapy, может быть с более глубокими настройками и новыми задачами.

[llllpavle]

как же все-таки парсить сайты которые динамические(js страницы формируют) и как делать верстку страниц поиска при этом если нужно учитывать что фильтры могут быть разные)?Спасибо за видео)

[Max_samara]

16:44 делал парсер, решил по быстрому игрушку на андроид состряпать

[ArturArtur]

Удивительно ! Хочу поблагодарить автора видео.
Я раньше использовал гугл таблицу, если нужно было парсить какие-то небольшие данные, но понимал, что функций категорически не хватает.
По этому начал искать что-то более серьезное, наткнулся на это видео недели 2 назад и начал изучать.
Как мне было сложно - словами не описать, о Python я не знал ровным счет ничего, собственно как и о любом другом языке.
Надеюсь увидеть ещё продолжение данной темы )
Пока что большинство кода не понимаю, но стремлюсь к изучению..


Что мне удалось реализовать:
Подключил eBay - успешно


Что не получилось:
- Полноценное подключения Amazon - не удалось, изображения, тайтел, и прайс подгружает, а вот с ссылкой проблемы, у амазона какой-то хитрый href, он начинает не с amazon . com, а сразу с подраздела
в теории как решить проблему догадываюсь, но на практике ничего не получается. Что-то делаю не так.
- Иногда при многочисленных тестах амазона получаю ошибку 503, на сколько понял амазону это не очень нравится и он закрывает доступ. ( Читал, для решения вроде как нужно прописать юзер агент)
- Последнее цена- тоже хочу красивую, но для товаров которые стоят порядка 35 $

[parfenovlev]

Приветствую! Отличный урок. После запуска скрипта на текущую дату, data . json не формируется.
может изменилась структура html b css на сайте. Посмотрите пожалуйста

[alekstoffe]

Если ли решение проблемы с парсингом сайта?
Создаётся пустой файл

[АлександерАлекс]

А телефоны как к этому списку добавить ?

[ОтморозковВалера]

Не могу победить ошибку >>> FileNotFoundError: [WinError 3] Системе не удается найти указанный путь: ''
Выскакивает на site.render. Всю голову уже сломал

[nikstortv]

Народ как переходить со стронички на страничку

[smtpboris]

Подскажи пожалуйста, каким образом собирать не со страницы, а заходить по ссылкам а потом собирать, например, если мне описание нужно собрать.
Спасибо

[ИловМакс]

А что вы пишите в файле Readme.md? Это для человека, или для автоматического развертывания парсера на сервере?

[ИванФедоров-ък]

Подскажите пожалуйста, как вы переместили всплывающее окно guake в низ экрана?
Я так понял это не делается в gui preference
Моя попытка заключалась в следующем
Я зашел по расположению /usr/bin/guake и в исполнительном фаиле обнаружил в нем
вызов exec_main, который не смог найти

[VLS_NL]

Полезное видео. Спасибо. Один вопрос, не могу разобраться, у тебя данные в json файл перезаписывают его, удаляя предыдущие значения, у меня идет добавление в файл. Как сделать, чтобы файл каждый раз перезаписывался?

[TheUkoder]

Всё хорошо, но только зачем так быстро менять "картинку", когда рассказываешь? ) Не успеваю читать код, приходиться паузы делать