Как парсить WEB на Python

#парсинг #python #уроки

import requests
from bs4 import BeautifulSoup
import time

user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.85 Safari/537.36"

headers = {'user agent': user_agent}

print(price[0].text[1:])

[skacom]

так всё просто?
Круто.
А на серваке можно этот скрипт запускать? Типа на сайте кнопка: узнать цену акции (допустим). Нажимаешь и получаешь результат. Или проблемы с юзер-агентами будут, если по тысячи обращений в час будут?

[roppor]

Добрый день, покажите на примере любого сайта, как спарить html css js, залить на свой локальный сервер, и подключить скрипты и стили

[bomarshee]

Олег, покажите как в представлении правильно вызывать async функцию, чтобы затем вставить данные в шаблон.

[alexeygushchin]

А есть уверенность, что это название каласса не рандомное и при следующей сессии оно не измениться?

[kboard]

Олег, можете сказать как вы открыли поле поиска когда искали цену

[return_]

Если будет возможно... может сделаете парсер на Scrapy, Selenium and BS4 но через функций и классы.

[parsifal]

Блин, этот бы урок, да недельки 3 назад) эээх.

[RaptorBuntarchik]

1:49
Не работает, ничего не отображает при запуске

[loyyd]

на сайте поменялся класс на <div class="YMlKec">$161.84</div>, теперь скрипт не работает. "YMlKec" таких совпадений теперь около 30. как быть в этом случае?

[Survivalminercaft]

парсинг это не про requests и bs4, а про обход защиты сайтов. 99% людей отваливаются на этом этапе

[модернкомбат-нг]

с таким путем не парсится другие страницы одного сайта

[Survivalminercaft]

и сразу видно, что автор видео абсолютно не разбирается в теме. user agent без дефиса прописал в headers, сайт их просто проигнорирует

[модернкомбат-нг]

Люди за что парсит сайта? И так инфа видно...