Скрейпинг сайтов с помощью библиотеки Scrapy

ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА
____________
❗❗❗Так называемое Министерство юстиции РФ признало «Важные истории» «нежелательной организацией». Так что репост этого и любого другого нашего видео может караться штрафом, а повторный репост — уголовным делом.

Но никто не может запретить вам смотреть и думать. Поэтому подписывайтесь на наш канал, просите подписаться своих друзей и оставайтесь с нами — в это темное время выжить мы сможем только вместе.
____________

Как скрейпить данные с помощью библиотеки Scrapy? Учимся на примере сайта книжного магазина.

🔹Туториал по Scrapy

🔹 Текстовая версия

🔹Подписаться на рассылку Мастерской «Важных историй»:

🔹Telegram-канал Мастерской

[istories_workshop]

❗❗❗Так называемое Министерство юстиции РФ признало «Важные истории» «нежелательной организацией». Так что репост этого и любого другого нашего видео может караться штрафом, а повторный репост — уголовным делом.

Но никто не может запретить вам смотреть и думать. Поэтому подписывайтесь на наш канал, просите подписаться своих друзей и оставайтесь с нами — в это темное время выжить мы сможем только вместе.

[Amigun_yo]

"yield - это ключевое слово в scrapy, которое позволяет выполнить разные действия" - это, конечно, мощно

[den-rad]

Никогда бы не подумал, что исчерпывающую информацию по python библиотеке я получу на ютюб канале СМИ, которое признано инагентом :) Удачи вам!

[nurlansalkinbayev]

Здравствуйте. Спасибо вам за работу и видео. Очень подробное объяснение, такое редко встретишь на YouTube. Ещё раз спасибо.

[MrFerting]

Хочу отметить, что подача материала очень легкая. Несомненный плюс, что вы обучаете предметно. Материал запоминается проще и есть желание искать доп. информацию самостоятельно. Молодцы, что тут сказать. Видно, что любите свою работу и делитесь знаниями бесплатно.

[lostinchineseroom]

вы большие молодцы, что ведёте эти серии. прям совсем молодцы

[oldlipton]

Спасибо за паука🕷️, и с возвращением!

[Crwbsko]

Очень хорошая подача, всё наглядно и понятно

[vdnmmxc]

Спасибо, очень доступно и понятно, так держать!!!!

[aleksey]

Спасибо большое за весь ваш материал на Youtube !!!

[slavpetrovich]

Цена этому уроку "yield - ключевое слово в скрэппи".
Думайте

[vladimirantonov]

Можно просто scrapy shell "<ссылка на сайт>" - минуя fetch... Хорошее видео!

[talgatmustafin]

Здравствуйте! Можно ли Scrapy использовать в Jupiter notebook? Пытаюсь найти ответ в интернете, безрезультатно.

[ctxverq]

капец. Без знания основ синтаксиса, напоровшись на значение класса написанное с пробелом, можно всю схему завалить. Чуть башка не лопнула, пока пытался догадаться, как выкрутиться или в чём ошибся.. И о чудо.. этот моментик, решён в следующем ролике. Скрапи-2.
Ваще жесть. Сколько ещё таких подножек я поймаю в будущем )))

[genylivnev]

День добрый! На 8:40, вы показываете название класса, которое нужно вставить в response, что бы найти ссылку, а когда проверяете в scrapy shell название класса совсем другое, это как? По названию видно, что наверное вы тянули ссылку на изображение

[akim]

Пробую отправить response, но в ответ приходит пустой список, пробовал и за id зацепиться и пробелы заменил на точки - не выходит. Сайт не динамический. В чем можем быть проблема?

[kdzcbpt]

У меня после запуска паука, такая вот краказябра в логах: ignoring response 520 http status code is not handled or not allowed.
В итоге файл создаётся, но он пустой(

[talgatmustafin]

Здравствуйте! Что за ошибка raise KeyError(f"Spider not found: {spider_name}")?

[hlclnlw]

Можете подсказать как не нарваться на капчу или обойти её?

[markhavidzer]

Разве в приведенном примере кода мы не соберём первую страницу раздела дважды?