Python: Unser erster Web-Scraper | Tutorial für Anfängerinnen und Anfänger | Deutsch (2022)

Hallo!

Wenn ihr wissen wollt, wie man Daten aus einer Website mit Python auslesen kann, dann seid ihr hier genau richtig. Ich zeige euch das heute an einem ganz einfachen Beispiel, das Prinzip lässt sich aber auf alle möglichen Webseiten übertragen. Wir lernen dazu die Module requests und beautifulsoup kennen. Dafür stellen wir eine Anfrage an eine Webseite, analysieren die Daten anschließend und picken uns die Datensätze heraus, die für uns interessant sind. Das Tutorial wendet sich an absolute Python-Neulinge. Ihr solltet ohne großes Vorwissen alles verstehen können... ;-)

Bleibt neugierig,
Euer Chris

Mein Spendenhut (Vielen Dank!)

Soziale Netzwerke

Timecodes:
00:00 Einleitung zum Thema Webscraping
00:34 Module installieren (requests, BeautifulSoup)
01:41 Das Python Skript
02:17 Module importieren
03:02 Website anfragen mit requests
05:13 Die Serverantwort
06:02 Daten filtern mit BeautifulSoup
06:52 Aufbei der Webseite untersuchen mit der Entwicklerkonsole
07:53 Elemente identifizieren und an Python weitergeben
10:17 Ergebnis bereinigen und formatieren
11:47 Ergebnis als f-String hübsch ausgeben

+++ FAQ und Quellen +++

Musik: YouTube Library

Ist Python kostenlos?
Jepp!

Brauche ich einen Mac, um Python zu benutzen?
Nö! Python kannst du auf Windows, Mac, Linux oder im Internet nutzen.

Welches Audio-Setup benutzt du?
Mikrofon: Rode Procaster und Sennheiser MK2
Interface: Steinberg UR22mkII
Ständer: K&M 21060 / K&M 2150
Spinne: Rode PSM1
Windschutz: Rode WS2

Womit nimmst du dein Bild auf?
Quick Time Player, Lumix G7

Womit programmierst du?
Computer: MacBook Air M1, 16 GB (2020)
Konsole: Mac Terminal

Womit schneidest du?
DaVinci Resolve 16 (kostenlos)

+++ Meine Videos zum Thema #Python: +++

🎬 Alle Videos

🚀 Starthilfe und Vorbereitung
(...)

👣 Grundlagen und erste Schritte

(...)

⌨️ Command Line Programme

(...)

🌐 Rund ums Web
(...)

🌈 Weitere Tutorials

[beharshala]

Ich habe vor ein paar Monaten angefangen mit Python mich zu beschäftigen und auch viele Videos schon gesehen, aber Chris, du bist einfach Super, mach weiter so.. Danke für deine Videos 😀

[EnloAgency]

Sehr angenehme Stimme Chris und super angenehm erklärt. Danke!

[Schmachti]

Nice, klasse erklärt. Gern mehr davon :)

[dominikrath]

Hallo zusammen die wepside im Beispiel wurde geändert. Um das tutorial nachzustellen ist 'span' durch 'div' zu ersetzen.

[Candy-Berry]

Ahoi zusammen. Das <span> Objekt ist nun ein <div> geworden also beim nachmachen beachten. Ansonsten super Tutorial vielen Dank!!!

[Rumduck]

Habe zwar schon zuvor etwas mit Webscraping (auch erfolgreich) "angestellt"..aber dieses Video ist ein wirklich anschaulicher Einstieg in die Thematik. Vielen Dank dafür und gerne mehr davon..bspw. würde mich interessieren, wie ich auf der im Beispiel genannten Webseite die Daten der Tabelle weiter unten (also für die jeweiligen Zeiten Sonnenauf- und untergang) bspw. für den Monat komfortabel auslesen kann.

[Fingr]

Vielen dank, super erklärt! Ich benutze übrigens VisualStudioCode zum programmieren. Dort ist ein Terminal direkt eingebaut.
Kannst du vielleicht mal einen Webscraper mit Klick auf Button (Google Startseite "Stimme zu") und Eingabe ins Eingabefeld (Googlesuche) machen? Ich kann das bisher nur mit JavaScript.

[ju_dev]

Gab es nicht schon solch ein Tutorial auf diesem Kanal?

[benamen]

Hi, ich kann in meinem Terminal(Auch das MacOS) keine Python Skripte ausführen.Es sagt immer ' can´t open File [Errno 2] No such file or directory.Hat jemand eine Idee?Und wenn ich etwas anderes requesten möchte (
<td class="beliebig">
<span class= "beliebig">beliebig</span>
</td>
) dann kommt "none" raus obwohl ich die soup-daten angepasst habe:
Variable = soup.find('span', {'class': 'belibig'})

[LebenWerden]

Ich erhalte zwar keine Fehlermeldung, aber es kommt immer None raus. Eine Idee woran das liegen könnte?

[robert]

Mega gutes Video! Kann ich so ein Script als standalone laufen lassen? Und weitergehend…kann ich es automatisieren und per push verschicken?!

[LebenWerden]

Hallo. Kann man mit der kostenlose PyCharm version Daten aus dem Internet ziehen?

[vornamenachname]

Leider habens da was geändert from bs4 import BeautifulSoup
ModuleNotFoundError: No module named 'bs4'

[LebenWerden]

Brauche ich request wenn ich mit PyCharm arbeite?

[unboxing]

hey, meine "span" hat leider keine Eigenschaft sondern nur den 'class' namen, wie lese ich es dann hierbei aus

[martinnickel]

Ich bin absoluter Python Neuling und würde das Script aus der Beschreibung gerne mal ausprobieren. Ich arbeite unter Windows11 und habe python installiert. Aber bei mir läuft schon die Modul Installation für requests und BeautifulSoup auf einen Fehler in der Eingabeaufforderung.... C:\Users\Martin>pip3 install requests
Der Befehl "pip3" ist entweder falsch geschrieben oder
konnte nicht gefunden werden.

[lennartdbl]

Ist das ein re-upload? Hatte dich wegen genau so einem Video abonniert xD

[johnnyrr]

Es funktioniert einwand frei, danke. Nur klär uns mal über diesen Fehler auf: "text" is not a known member of thx

[ott]

lol hab chatgpt mal gefraft und er hat mir fast genau dein code gegeben

[michaelmohr]

Hallo

Kann man mit python eine website in bestimmten zeitabständen auf neue rabatte durchsuchen lassen ?

Und ist das legal ?

Danke
Lg