Como Usar Python com Apache Spark? Guia Prático de PySpark!

🎓 Conheça nossos Cursos Gratuitos e Comece sua Jornada na Tecnologia!

---
Neste vídeo, exploramos os primeiros passos no mundo do PySpark!

Se você é novo na área de processamento de dados com Python e está ansioso para aprender a utilizar o PySpark para análise e manipulação de grandes conjuntos de dados, este é o lugar certo para começar!

Aprenda conceitos básicos, dicas úteis e recursos essenciais para iniciar sua jornada de forma
simples e eficaz. Não perca!

Códigos e Diagramas

👥 Junte-se à nossa comunidade no Discord para interagir com outros profissionais de dados:

Plataforma DataWay BR

Índice

00:00 - O que você vai aprender
02:00 - Spark - Conceitos
07:02 - Instalação
18:09 - HelloWorld
25:16 - Download Dataset
27:53 - Spark Dataframe API
48:07 - Spark SQL

[giovanamarques]

Eu não costumo comentar vídeos no youtube mas esse vou ter que comentar pq me ajudou MUITO! obrigadA!

[Datadrivenc]

Cara, você me Salvou! Obrigado pelo conteúdo!

[dinizleonardo]

Conteúdo top da DataWay BR! Valeu Rossi!

[HistoriasdeGuerra-cksw]

Ele fez o assunto parecer tão fácil mais tão fácil que até parece que eu aprendi a ler de novo, parabéns mestre, teu conteúdo é excelente. Mais um inscrito para o seu canal, valeuu!!

[profmarcioalencar]

Parabéns Matheus, super aula, super organizado, show de didática

[aleidesiqueira]

Aula perfeita!!! a melhor explicação que ja vi sobre spark. Parabéns!!!

[LucasRodrigues-vzxw]

Que aula sensacional, em uma aula ensinou mais que os cursos da udemy que dizem ser o avançada e completo. Parabéns!!

[orafaelgf]

Top. Parabens Matheus e sucesso ao canal.

[louriveira]

Uau, parabéns pelo conteúdo! Muito bom.

[SamirMamude]

Parabéns pela aula, sua explicação é perfeita!

[BeatsHectorVoid]

Parabéns por esse conteúdo e muito obrigado por ele!!!

[celsodeccache]

Muito obrigado pelo vídeo! Bem didático!

[palomaraissa]

pra quem estiver com problemas no poetry shell por conta de versão >= 2.0.0, só colocar no terminal:
poetry env activate
poetry run jupyter-lab

[palomaraissa]

valeu pela aula, foi bem legal e didática!
eu sou iniciante no pyspark e tô com o objetivo de aprofundar esse conhecimento pra melhorar o portfolio pra engenharia de dados, vc teria alguma recomendação de direcionamento pra estudos?
eu já fiz curso na udemy sobre spark mas foi bem fraco, não deu pra aprender e aplicar de fato muita coisa... meu plano atualmente é procurar videos de projetos de ETL com pyspark pra replicar e ir aprendendo aqui no yt mesmo, mas não sei se teriam outras formas legais pra aprender também

[rodi]

Massa demais o conteúdo e a capacidade de passar algo complexo de uma maneira mais palatável.
Só fiquei com uma dúvida na parte final. Quando criamos a tabela final, com a diferença, em que etapa é feita a conversão para float? Já assisti o vídeo várias vezes, imprimi um describe do dataframe (aqui aparece como string), mas quando imprimimos, ele faz o cálculo correto, como se fosso float mesmo.

Na primeira etapa, lembro que fizemos manualmente a conversão. No caso do SQL é convertido automaticamente?

Abraço e espero que a dúvida tenha ficado bem expressa.

[vanderleibachendorf]

parabéns pelo seu conteúdo, hoje estou tendo problemas com etl de bigdata, penso que o spark pode ajudar

[Fellipematheus]

Venho do mundo SQL Server. Pra mim, todos os objetos criados, tem um ar de perenidade. Você cria uma tabela, uma view e fica lá, para os outros usuários acessarem.
Parece que o Spark, tem um perfil de ser algo temporal. Apenas um ambiente onde você carrega seus datasets, monta suas análises etc (um workplace), mas não um datalake onde seus dados ficam persistidos para outros usuários de uma mesma organização, exemplo: dados de vendas que já estão num formato padrão onde todos poderiam buscar.

Minha análise está correta?

[BaierleBR]

Uma duvida amigo, fazer o ETL com Python usando o Google Colab ou Jupyter Notebook não seria bom igual o spark? (Se conseguir me tirar essa duvida)

[LucasLumertz-bg]

Uma dúvida, eu tenho instalado no mac o java 21, é importante ser especificamente a versão 11 como mostra? E se sim, ter mais essa versão não vai atrapalhar a versão já instalada?

[nettoflorestal]

Muito caprichado o conteúdo! Parabéns! Quais os detalhes para instalar do poetry? Tem que ser em uma venv ou no próprio sistema?