Парсинг недвижимости Авито, Циан, Яндекс. Часть IV (Запуск на сервере)

Настраиваю мониторинг объявлений об аренде недвижимости с мгновенным оповещением в телеграм.

Поблагодарить и поддержать канал:

Тайм-коды
00:00:00 Напоминаю задачу
00:01:46 Что будем делать
00:02:35 Настраиваем сервер
00:05:20 Настраиваем окружение для проекта
00:10:29 Переносим проект на сервер
00:12:58 Я ошибся, исправляю ошибку, по которой не мог скопировать файлы на хостинг
00:20:16 Настраиваем запуск скриптов по расписанию
00:27:40 Прокси - обходим блокировку

Хостинг

Как работать с командной строкой

Ссылка на исходники:

Телеграм-чат про парсинг:

Для связи пишите:
WhatsApp [phone]

[NahodkiWBOZON_]

Вам спасибо огромное ждём новых видео это очень познавательно

[dmitrygusev]

Добрый день ! Евгений, очень благодарен, отличное видео. Но думаю, один прокси все же не потянет такой обьем . Я бы добавил около 10 прокси и менял их через каждые 10 минут. Чтоб уменьшить частоту запросов.

[vmfsxjp]

Когда делал деплой, тоже рассматривал бегет. Думал что он не популярный совсем.
Сделал настройку и вместо 11р минимальная сумма стала 40. по считал, зомра выходит дешевле

[akovemil]

Спасибо!)
Единственный вопрос остался: а где брали прокси, если не серкет?

[NahodkiWBOZON_]

Здравствуйте, на данный момент времени что-то изменилось в этом методе как сейчас обстоят дела актуальна ли она? Благодарю заранее за обратную связь

[severus]

Евгений, здравствуйте. При запуске авито парсера выдает ошибку ключа result в get_offers(data). Что это может быть?

[vmfsxjp]

Евгений здравствуйте, посоветуйте хороший vpn сервис

[nisqtdl]

Такой вопросик, если мы сменим ip авито же выкинет капчу также через какое-то время и бот не проработает и часа!?

[qontshf]

А если сделать задержку по времени, капча появится?

[jorel]

можно изменить владельца папки методом chown name:name path

[opmjblu]

Вопрос такой: насколько использование прокси надежно?! Я просто не совсем понимаю откуда они берут столько IP адресов?! Они же не дают каждый раз какой-то уникальный IP? На каждый запрос свой IP, ну пусть будет 60 запросов в час. Итого около 1440 запросов в день... Наверняка часть их IP уже попала в базы сайтов недвиги, как те, которые надо блокировать.
В общем если знаете как такие прокси работают, как они выдают IP для очередного запроса, поделитесь информацией пожалуйста, было бы интересно

[zlgxfru]

эх Евгений, не нужны вам прокси!!!! все обходится гараздо проще и БЕСПЛАТНО

[vmfsxjp]

Евгений вам срочно необходимо создавать телеграм или дискорд канал где можно общаться, делиться мыслями и опытом!

[ostbobmuon]

Подскажите, пожалуйста, с чем может быть связана такая ошибка:
{'code': 403, 'error': {'message': 'Доступ с вашего IP-адреса временно ограничен', 'link':

При просмотре с браузера доступ имеется.
При настройке с прокси тоже доступ ограничен.