Web scraping, requêtes sur site dynamique & collecte de données

Dans cette vidéo on collecte les données d'un site web dynamique, c'est-à-dire généré avec du JavaScript.

On fait du web scraping sans utiliser le module beautifulsoup (qui ne peut scraper que le code html)

N'hésites pas à t'abonner pour plus d'astuces !
Et dis moi où est-ce que je peux m'améliorer en commentaires.

00:00 Intro
00:16 Notre site
03:32 Notre programme
05:47 Reverse engineering
08:28 La requête
11:21 Connecter le programme sur notre compte
14:35 Les paramètres de la requête
16:33 Extraction des données

[franckrico]

Laisse moi te dire chapeau... T'es vraiment l'homme à suivre. Ça donne même envie de pleurer tu expliques si bien... Encore merci. J'attends tes autres tutos

[alphonse]

Incroyable vidéo, ça me facilite tellement ma vie dans certaine projets

[maxence]

Ah ouais t'es trop chaud, super vidéo ! Je cherche à créer un bot qui parcours les principaux site de vente de Bitcoin, pour acheter a un instant T le moins chère... Déjà tu m'a bien éclairé sur la manière de faire

[ChloéGosse-zu]

Hola, merci pour ce tuto cool et clair. Malheureusement je n'arrive pas encore à voir toutes les subtilités qu'il peut y avoir entre les différents sites. Actuellement j'essaie de scrapper un site qui n'est pas codé en java.script mais je n'arrive pas à faire ce que je veux (c'est à dire extraire le fichier csv que le site produit une fois certaines infos rentrés). Bref mon chemin est encore long, si quelqu'un est déjà passé par là, je ne dirais pas non à quelques pistes.

[noftal]

super instructif. Mais dans les request headers le cookie qui permet de t'authentifier change à chaque session j'imagine. Comment faire pour que le code marche quand même ?

[ObiiWannKenNabii]

Super Tuto Merci beaucoup ! Par contre, le cookie a un temps définie .. ce qui veut dire qu'il faut à chaque fois se connecter pour générer un cookie valide ? 😞

[marccoco]

Si, en-dessous des "Request Headers", il y a le warning "Provisional headers are shown", c'est que les headers sont protégés ?

[Alex-xwph]

Sais-tu comment faire pour webscrape sans avoir un "none" ?