Webscraping de 1000 Páginas Automaticamente no Python

CLIQUE AQUI PARA SABER MAIS SOBRE O CURSO COMPLETO PYTHON IMPRESSIONADOR:

-----------------------------------------------------------------------

► Saia do zero em Webscraping no Python com Scrapy

► Biblioteca Requests no Python [Métodos GET, POST, PATCH e DELETE]

-----------------------------------------------------------------------

-----------------------------------------------------------------------

Você provavelmente já ouvir falar de Webscraping Python não é mesmo? Nós já até temos um vídeo aqui no canal, mas hoje vamos te mostrar como fazer webscraping no Python em mais de 1000 páginas de um site.

É isso mesmo, vamos utilizar o webscraping automático no Python para buscar dados da web com Python em mais de 1000 páginas.

Dessa forma você vai poder pegar dados da web com Python não de uma única página, mas de todas as que precisar dentro de um site para fazer sua análise de dados.

Pode ser para busca de preços, empresas, produtos, qualquer informação que você precisar. Então além de conseguir puxar todas as informações de uma página poderá replicar esse procedimento para todas as páginas que precisar!

Para esse procedimento nós vamos utilizar a biblioteca scrapy que também temos vídeos sobre o assunto!

Você vai notar que ao aprender como buscar dados da web com Python isso vai te ajudar muito no mercado de trabalho.

Pois imagine que você tenha que fazer uma busca diária ou semanal de algumas informações em sites dessa maneira.

Já imaginou quanto tempo você iria perder pra fazer isso de forma manual? Esse código na aula rodou em cerca de 10 min! Só 10 min para percorrer todas as informações de mais de 1000 páginas.

-----------------------------------------------------------------------

Hashtag Programação

► Ative as notificações (clica no sininho)!
► Curta o nosso vídeo!

-----------------------------------------------------------------------

Redes Sociais

Aqui nos vídeos do canal da Hashtag Programação ensinamos diversas dicas de Python para que você consiga se desenvolver nessa linguagem de programação!

-----------------------------------------------------------------------

#python #hashtagprogramacao

[HashtagProgramacao]

Fala galera!
Gostou do vídeo? Deixa a sua curtida e se inscreve no canal!

[Rafa]

Vocês são increvéis. Parabéns a didática de vocês é algo fora da curva.

[julianooliveira]

Cara que aula foi essa, vai resolver minha vida! obrigado

[valterbriolli]

Comentário! Simplesmente Show!!! Amazing!!!! Valeu!

[fabianodealmeidamelo]

Parabéns por mais esse conteúdo de valor

[SkySesshomaru]

Irado.

Vou rever depois adequadamente, mas estava precisando de um conteúdo disso.
Darei meu feedback apropriadamente, mas aposto que deve estar de qualidade como sempre!

[halanfelipe]

Excelente vídeo, muito boa sua didatica.
Gostaria de saber se é possível criar um grupo de palavras e extrair somente tags que contenha pelo menos uma dessas palavras, a estrutura é algo parecido com isso:
<tr>
<td> texto </td>
<td> link download</td>
</tr>...
quero baixar apenas os PDF's relacionados com textos especificos (detalhe o site tem login e senha e esta parte ja resolvi).
desde ja agradeço pelo conteúdo

[apbluis]

Ótimo vídeo...eu estava precisando justamente dessas dicas de com buscar os dados em várias páginas...muito obrigado

[cleocordeiro]

Conteúdo muito bem elaborado é explicado obrigado, foram os minutos mais produtivos do meu dia.

[emersonramirodasilva]

Parabéns pelos 100k de inscritos 🎉🎊🎉🎊🎊🎉

[claudineitaiacolo]

Ótima aula Candioto. Parabéns!!! Show!!!

[TiGrpAmin]

Show. Como fazer uma pesquisa do google com os restaurante de uma localidade trazendo o nome, endereço e telefone?

[humbertomoraes]

Bom dia
sou aluno do Lira, adorei seu vídeo, muito bom mesmo e vou usar com certeza esse aprendizado.
Uma necessidade que tenho é que alguns sites eu preciso fazer o login com senha, tens algum vídeo mostrando os comandos para primeiro logar e depois fazer a raspagem ou alguma sugestão pra passar?

Muito obrigado

[brunobarbosa]

Vídeo top!! Eu que comentei no vídeo passado! Tmj rapaziada!! ❤❤❤

[ShiryuMagoficial]

Oi!
Fiz o vídeo, deu tudo certo, mas na hora de fazer o comando >>> scrapy crawl [nomedoprojeto]
ele não retorna nenhum valor.
O que pode sert?

[siloehdan]

Muito bom. Eu gostaria de saber como poderia montar uma macro no vba excel para fazer um gráfico 3d girar por exemplo no eixo "x" - uma vez eu vi isso por acaso dentro de uma pasta com exemplos do excel no office 97 e de lá pra cá eu nunca mais vi ninguém fazer algo assim e olhe que fazem coisas mais complexas com gráficos, até gráfico 3d todo feito no vba eu acho que foi em vba rsrs, mapas 3d, etc. Agradeço vocês são impressionadores ;)

[washingtoncoutinho]

O que fazer quando dá 403 no scrapy shell? Eu vi um método de chamar um User-agent, mas não funcionou por aqui... Alguma outra forma de passar essa barreira?

[eliasleite]

Nesse caso tbm poderia pegar a numeração total de page e acessar o link direito? ou por performance nao seria uma boa pratica?

[glaubermarques]

Existe uma aula de como fazer o scrapy em site que possui a URL com caracteres especiais?

[rogercardin]

olá, excelente aula, mas nao consigo extrai valores de uma tabela onde nao tem div, e ela é renderizada automaticamente. poderia ajudar ?