Scrapping de páginas en 1 minuto

¿Quieres transformar una web a JSON? Por ejemplo, para recuperar los precios de los productos de una tienda y crear una API con eso.

A esta técnica se le llama web scraping y es muy útil para obtener datos de una página que no tiene API.

Yo lo he usado muchas veces para revisar el contenido automáticamente de una página y recibir un aviso cuando cambia.

Pero es una técnica que también usa, por ejemplo, Google a la hora de indexar páginas.

Ahora con este tutorial ya sabes qué código necesitas para hacerlo con JavaScript.

¡Si te gusta este tipo de tutoriales, deja tu ❤️ para que pueda seguir creando más!

Y deja un comentario en qué página lo usarías.

#software #informatica #programador #programacion #programadores #short

[genrydev]

Si se combina con Scrapy es superpoderoso, porque un problema que tiene Scrapy es q solo sirve para el código estático, no procesa JS, pero puedes usar playwrite y problema resuelto

[remingtonrichmond]

¿HasData puede ayudar con scraping cuando hay seguridad como Cloudflare?

[yogursalado]

el problema que tenga seguridad ante scraping y tengas que simular el navegador con puppeteer

[SteveJSilva]

Me pidio instalar el playwright con npx (no se por que si ya lo habia instalado con npm), y despues no hizo nada cuando llega a la linea del $$eval no hace nada y retorna un undefined 💪

[JuanCarlosVillalbaCárdenas]

Excelente, puedes compartir el codigo, con que lo ejecuto?

[anibaldams]

Y si para entrar a la página hay que pasar la verificación de Cloudflare?

[cristianfaviero]

Pregunta de Ignorante... en algunos casos no causaria problemas al programador esta practica?

[facuzeronqn]

y puede interactuar con la pagina? por ejemplo hacer click en el boton que te lleve a la otra pagina del producto.
Yo usaba la libreria Selenium con phyton

[zidrave]

en php con curl se puede hacer hace años y de manera muy facil tambien si instalar mamadas de dependencias ni nada

[henryquijada]

Necesito comprar cuentas de walmart!! Alguien las consigue? Las compro todas

[xkitrun]

Usando fetch y creando un regex hago eso y sin abrir el navegador 😂