SCRAPY — парсинг на PYTHON

preview_player
Показать описание
===============

===============
Если есть возможность поддержать канал и спасти мир:
или

#Scrapy #Python #Парсинг

SCRAPY — парсинг на PYTHON
Рекомендации по теме
Комментарии
Автор

Музон из космических рейнджеров топчик! Спасибо за ролик!

Daniel-mpbv
Автор

Чесно, вчера пересматривал ролик с селеум и думал уже использовать, телепатия не как иначе😂

dannicroosser
Автор

Треугольник, привет! Лайк сейчас, но видео посмотрю после работы))

egorm
Автор

не знал что есть такой фреймворк, КРУТО

DrWne
Автор

Красавчик, 👍 за группу инэкстремо из старого лагеря 😂

mak
Автор

Вместо XPath в scrapy можно использовать CSS. Это намного удобнее) Также, scrapy легко комбинируется с selenium, что может упростить парсинг некоторых сайтов

Amigun_yo
Автор

Привет, треугольник! Хотел бы спросить у тебя, планируется ролик о создании собственной электронной почты? Конечно, с chatgpt и прочими это сделать не составляет особого труда, но хотелось бы послушать тебя)

mkuznetsoff
Автор

Попробую выразить мысль....)
Т.е если паук уйдет по ссылкам далеко(например на 10М) в глубь ресурса и далее остановиться по X/Y причине, он автоматом 'поднимется' до самой верхней(в самое начало) возьмет следующую ссылку и пойдет дальше? Т.е Он тупо не остановится пока не обойдет все дерево целиком?

ctf
Автор

Кто-то от лола тащится, Камилла на обоине

instalooker
Автор

Надо копать дальше, парсинг через Selenium

dmytrob
Автор

А как у него обстоят дела с обходом защиты?

wbksunk
Автор

а как насчет с сайтами-приложениями на js?

aleksandrdemidov
Автор

Да, хороший фреймворк, давно использую. Но для парсинга уже есть более мощные штуки с фейк юзер агентами, прокси и прочими плюшками.
Годные видосы👍

xxybcrh
Автор

А как можно спросить таблицу с сайта, но проблема в том, что таблица грузиться после перехода по ссылке. Пытался использовать selenium и ждать появления таблицы, но он парсит только заголовок таблицы, как я понимаю, потому он подгрущился первым, а остальное тело нет

Handri_
Автор

здорово, а нельзя ли на сервере vps ubuntu делать не только парсинг, но и совершать действия через гет и пост запросы с имитацией на нажатие кнопок на гугл-коллаборации? очень нужно для работы. В любом случае спасибо большое за труд, вложенный в это видео!

densaface
Автор

А как можно спарсить контакты любых YT каналов?

ATaent
Автор

А как написать паука с учетом пагинации, чтобы условное имя и прайс собирались не только с первой страницы?

Hi-gjgruncdun
Автор

Вчера первый раз использовал, супер либа

userfromworld
Автор

Привет. Случилось такое что парсер почему то дублирует товары с страницы. Я так вижу что это не редкие случаи. Парсю с помощью Web Scraper, может кто знает в чём проблема?

Vinchek
Автор

Офк круто, но надо понимать, что scrapy только на linux-подобных системах

x_ar_x