Scraping avec Python : Formation Complète 2024

Retrouvez Bright Data sur leur chaîne YouTube : @BrightData

Apprenez le scraping en partant de 0 avec cette formation complète. Cette formation est réalisée avec Python mais toute la théorie du scraping et du contournement des blocages peut s'appliquer à n'importe quel langage permettant de faire du scraping.

----------------------------------------------------------

PRÉREQUIS :

----------------------------------------------------------

🔗 Sources des scripts

🖥️ Créez votre VPS sur Infomaniak

🔗 Ma formation complète Python sur Udemy (+60h de formation)

🔖 Abonne-toi à Docstring

💬 Rejoins-nous sur le serveur Discord

----------------------------------------------------------

===== CHAPITRES =====
00:00:00 Introduction
00:03:13 Le programme de la formation
00:07:58 Définition du scraping
00:08:56 Les prérequis
00:11:06 Les obstacles (et la solution)
00:13:20 PARTIE 1 : les bases du scraping
00:18:26 Récupérer le contenu d'une page avec requests
00:24:35 Analyser le contenu d'une page avec BeautifulSoup
00:33:41 Récupérer des informations avec BeautifulSoup
00:43:03 Analyser la page d'accueil des livres
00:54:56 À vous de jouer !
01:04:32 Exercices simples : Introduction
01:06:08 Récupérer les catégories avec un seul livre
01:08:40 Solution
01:32:01 Récupérer les livres notés 1 étoile
01:35:44 Solution
02:08:18 Exercice avancé : Introduction
02:09:08 Énoncé de l'exercice
02:10:23 Présentation de Selectolax et Loguru
02:18:04 Préparation d'un cahier des charges
02:28:32 Création du corps du script
02:47:46 Récupération du prix d'un livre
03:12:41 Récupérer toutes les URL sur une page
03:24:48 Récupérer l'URL de la prochaine page
03:30:54 Récupérer toutes les URL de la librairie
03:38:44 Récupérer la valeur totale de la librairie
03:46:51 Optimisation de notre script avec les sessions
03:53:09 Conclusion
03:53:59 PARTIE 2 : contourner les obstacles
03:55:57 Ce que dit la loi
03:56:38 Les CGU
03:59:25 Le RGPD
04:01:58 Exemples de scraping licite et illicite
04:09:10 Entrevue avec Rony SHALIT
04:46:29 Les blocages techniques
04:50:43 Les blocages volontaires
04:52:04 Le blocage par limitation de requêtes
04:59:18 Le blocage avec le user-agent
05:04:55 Présentation de Playwright
05:10:46 Utiliser playwright pour afficher le javascript
05:20:14 Interagir avec le DOM
05:26:22 Les méthodes indispensables à connaître
05:37:45 La solution Bright Data
05:38:43 Tour d'horizon de la plateforme
05:45:04 Créer votre compte sur Bright Data
05:48:28 Utiliser le réseau de proxy résidentiel
05:57:59 Utiliser le web unlocker
06:02:12 Utiliser le scraping browser
06:09:47 PARTIE 3 : Récupérer des données sur AirBnB
06:11:01 Préparation d'un scraping éthique
06:15:04 Analyse du site pour préparer le scraping
06:20:44 Créer le projet et installer les librairies
06:24:21 Scraping simple avec requests
06:29:15 Sauvegarder le HTML sur le disque
06:34:57 Récupérer le HTML depuis le disque
06:42:39 Récupérer les données de prix
07:03:49 Lancer le script en ligne de commande
07:06:11 Scraping avancé avec Playwright
07:15:46 Passer à travers toutes les pages
07:25:09 Utiliser le scraping browser de Bright Data
07:33:44 Automatiser l'ouverture du débogueur
07:39:11 Minimiser la bande passante
07:43:20 Naviguer jusqu'à la page des recherches
07:52:09 Passer au mois suivant
08:09:57 Faire défiler les mois
08:22:14 Récupérer le prix et finaliser le script
08:34:01 PARTIE 4 : Système d'alerte e-commerce
08:35:16 Les outils utilisés
08:38:01 Préparation d'un scraping éthique
08:39:55 Récupérer le HTML avec requests
08:52:47 Ajouter les variables d'environnement
08:54:57 Utiliser le Web Unlocker
09:00:09 Garder l'historique des valeurs sur le disque
09:04:45 Comparer la valeur actuelle avec la précédente
09:08:17 Ajouter la fonction d'alerte avec Pushover
09:11:27 Ajouter le logger
09:17:44 Terminer la fonction principale
09:28:02 Envoyer les fichiers sur le VPS
09:32:41 Créer un Cron Job
09:39:17 Enlever l'avertissement avec urllib
09:40:45 Ajouter les alertes Sentry
09:50:22 Outro

[Docstring]

Likez, partagez et commentez cette vidéo pour nous permettre de continuer ce contenu gratuit 🙏

[MndoigtsdanstonQQ]

Je voulais simplement te dire merci. Ta passion et ton dévouement pour enseigner et motiver les autres sont incroyables. Chaque fois que je te vois en action, j'ai envie de me surpasser et d'apprendre davantage. Ta capacité à inspirer les autres est vraiment remarquable, et je suis reconnaissant(e) d'avoir la chance de bénéficier de ton soutien et de ton exemple.Merci d'être une source constante d'inspiration et de motivation. Tu as un impact positif sur la vie de ceux qui t'entourent, et je suis reconnaissant(e) de t'avoir comme modèle.

[amodemajid]

Un grand merci Thibault, je fait 1001 choses étant à la retraite, mais toujours passionné par tes cours, thank you.

[JeromeRichard-zngq]

Juste 1 mot : Wow. Bravo pour ton travail parce que ces 10 heures sont vraiment bien travaillées et montées. On te remercie pour ta motivation !!

[noekiriza]

Bonjour Thibault, je fais partie de tes étudiants qui suivent ta formation complète Python sur Ûdemy et j'avoue que ta passion et ton dévouement pour enseigner et motiver les autres sont vraiment incroyables. Tu es un dieu dans le monde professionnel.

[english_francais]

Hello, je n'ai pas encore fini de regarder la vidéo, mais j'avoue que c'est un travail excellent.
Bravo 👏
Mille mercis à vous.

[pandatech]

C’est incroyable de fournir un tutoriel si précis et complet autant sur le plan technique de éthique et cela gratuitement ! Je te remerci👍

[sancti]

Le meilleur des formateurs python .. avec un nouveau cours merci

[habibaidara]

Tes tutos sont top.
Vraiment j'aurais aimé que tu commence a te lance sur l'analyse des données ou la science des données. 😊

[saintlifter]

Alors chose fascinante c'est que j'ai décidé aujourd'hui même de commencer des projets pour rendre plus riche mon porte folio étant étudiant de L1 il fallait bien que je commencer quelque part. J'ai eu l'idée de faire un programme qui relève des infos financières sur des sites web. J'ai recherché sur YouTube et je tombe comme par hasard sur une vidéo sortie le jour même. Hâte d'arriver au bout de ces 10h de vidéos !

[TarikShiba]

La qualité de cette formation. Je n'ai vraiment rien a dire si ce n'est un énorme merci.

[josuepanzu]

Salut Thibault je suis tes tutos depuis un bon bout de temps et ça m'a bien permis d'évoluer. Prochainement si tu faisais une vidéo sur la création d'api avec python (fastapi) ça serai vraiment génial.

[yassinezakariaibet]

Je suis ému par votre bon sens. Merci infiniment

[benoit]

Merci pour ta vidéo ! J'avais besoin de cette vidéo pour me familiariser avec le scraping pour récupérer des prix sur Ebay afin de maintenir à jour une collection. Et le faire à la main était trop long et fastidieux donc je veux mettre des scripts en place et, par la suite pourquoi pas le développer en interface pour le proposer à des collectionneurs comme moi.

Merci beaucoup pour ce tutoriel. Je le trouve très agréable à suivre. Merci également pour l'offre Bright Data. Cela permet de rentrer en douceur dans un monde que je ne connaissait pas. Petite remarque, on voit vite l'utilité de fixer le User-Agent. Le comportement lors du premier test sur AirBnB ne passait pas depuis chez moi sans .

[amineenajjari]

Tout ce que je peux dire est "MERCI BEAUCOUP" 🙏

[hameddiallocheck]

Merci infiniment pour ce contenu, je suis débutant en scraping et je pense que grâce à ce contenu je vais plus m'améliorer. Je suis devenir un expert dans ce domaine et décrocher un emploi

[MrDarkislider]

Merci beaucoup, un grand bravo à toi pour cette formation de qualité de plus gratuite 👏👏👏👏

[elcactusmagic]

Merci pour la mise a disposition de ce travail.

[robydivincenzo]

Merci DocString pour tes supers vidéos ! Voici un post à venir qui pourraient intéresser plusieurs abonnés et autres, c'est le fait de pouvoir trouver comment cliquer sur les choix de demandes de consentements comme sur le site Mappy, qui contient une masse d'infos de Pros et surtout leur email..., ais il y a des fenêtres qui sont bloquantes et difficiles à contourner ("Accepter & Fermer" + "Continuer sans accepter" + "Connexion" ...), merci pour ton écoute? Roby