Tutorial Python - Ler vários arquivos de uma pastas - Aula 2 - Curso de python

Python - Pandas - Importar - Exportar - Excel - Folder - Ler pasta - Mais de um arquivo

Referencias:

- Arquivos usados na aula

Neste vídeo voce pode aprender como importar vários arquivos de uma só vez para o python
Como ler o conteúdo de uma pasta
Como saber quais arquivos existem em uma pasta
Como exportar arquivos para o Excel
Como ler arquivos do Excel

[felipewave]

Cara parabéns pelo conteúdo!

Acredito que na maioria das empresa de médio e grande porte que não gostam de utilizar tecnologia pois acham um gasto insignificante aconteça isso.
Onde estou acontece isso que vc menciona no começo do vídeo e temos que nos virar aqui pra fazer um entrega bem feita!

[giovannidelorenzo]

Obrigado pelo video, consegui adequar ao que eu precisava,
carreguei varios arquivos txt, transformei em um arquivo txt maior, dai selecionei o delimitador ", " entao criei um .xlsx em forma de tabela e construi uma rotina de carga para esse arquivo .xlsx no meu SQL Server.

Vou deixar o código aqui para quem quiser;


import pyodbc
import pandas as pd
from pyparsing import delimited_list
#Trata ZAA160 Para Carga
from os import sep
from tkinter.font import names
from glob import glob

from pyparsing import delimited_list

arquivos = sorted(glob(r'../SQL Server/*.txt'))

zaa160 = pd.concat((pd.read_table(cont, sep="|", names={('Valor'):str, ('Origem'):str, ('Destino'):str, ('CEP'):str, ('Carro'):float}) for cont in arquivos))

zaa160.to_excel(r'../SQL Server/zaa160_tratada/zaa160_tratada.xlsx', index=False)

print(zaa160)


#CONEXAO COM O BANCO DE DADOS
conexao_dw = (
"Driver={SQL Server Native Client 11.0};"

"Database=SQLPython;"
"UID=sa;"
"PWD=123456;")

conexao_dw = pyodbc.connect(conexao_dw)
cursor_dw = conexao_dw.cursor()

#LEITURA DA PLANILHA
df = pd.read_excel(r'../SQL

#APAGAR REGISTROS NA TABELA
#cursor_dw.execute('TRUNCATE TABLE dbo.SQLPython3')
#cursor_dw.commit()

print(df)

#PERCORRENDO LINHA A LINHA DA TABELA E INSERINDO NO BANCO DE DADOS
for i, Valor in enumerate(df['Valor']):
Origem = df.loc[i, 'Origem']
Destino = df.loc[i, 'Destino']
CEP = df.loc[i, 'CEP']
Carro = df.loc[i, 'Carro']

dados = "'{}', ""'{}', ""'{}', ""'{}', ""{})".format(Valor, Origem, Destino, CEP, Carro)
script = '''insert into dbo.SQLPython4 ([Valor], [Origem], [Destino], [CEP], [Carro]) values ('''
query = script + dados
#print(query)
cursor_dw.execute(query)
cursor_dw.commit()
print("Carga Concluida")

[danilodantas]

Excelente! Isso é elegância! Você está correto!

[ViniciusMendes]

Ah.. continue com as aulas, estão TOP!

[alanpessoa]

Esperando ainda por mais aulas, excelente, parabéns!

[WanderFranca]

Impossível ter dúvidas rs, MUITO OBRIGADO Pela aula!!!

[BruceFonseca]

Marcelo, parabéns pela didática. video ficou excelente e me ajudou muito.

[ViniciusMendes]

Mano, perfeito, fiz o que você falou mas testeiutilizando arquivos JSON que exportei do meu relógio, eu estava perdido tentando compilar tudo isso. Muito obrigado!

[newblue]

Show de bola... Parabéns.... Excelente video e

Muito obrigado, pelo conteúdo, gostaria de saber se pra cada arquivo que agrupou, tem como trazer o nome de cada ?

[geanclm]

Prezado Macerlo, parabpePrezado Marcelo,
parabéns pela didática!
sensacional o exemplo de concatenar
arquivos do excel.

Você consegue compartilhar um exenplo
para juntar aquivos pdf e ler o conteúdo
para um data frane do python?

Sucesso e muita prosperidade!

[tadeuclemente]

Parabéns pelo conteúdo!

Como eu posso organizar os dados no caso dos arquivos serem .txt? Eu concatenei os dados, mas ficaram todos desorganizados em apenas uma coluna, sendo que são cinco colunas nos arquivos originais.

[viniciusponce]

Boa tarde professor,

Tenho alguns arquivos .txt que estão em uma pasta que está dentro de um arquivo .zip, como faço pra abrir o zip primeiro e depois abrir a pasta?

[tatianacavalcantedossantos]

Professor por favor me ajuda, como consigo abrir uma pasta com vários arquivos em Excel dentro, no python?

[Andrelino]

Como podemos concatenar arquivos txt com o pandas de modo q fique um abaixo do outro e utilizemos como um dataframe

[jean]

Não funciona com csv ?

bases_geral = pd.concat((pd.read_csv(cont) for cont in bases))

Apresenta o seguinte erro: UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe7 in position 134: invalid continuation byte

Obrigado.

[claudiojardim]

Bom dia, Marcelo! Show teus vídeos. Cara, uma dúvida: estou aplicando Merge em dois arquivos csv, um tem 6180000 linhas e o outro 1997000. Estou usando How left, sendo o arquivo de 6180000 o da esquerda. Porém, no resultado vem 7397000 linhas. Podes me dar uma luz? Obrigado.

[danilodantas]

Como consigo fazer o mesmo processo com XML? Meu Pandas read não tem xml!

[fjvpaiva]

Estou com um problema. Subi os arquivos, mas tenho que nomea-los individualmente, tipo df1, df2, df3. Quero automatizar esta tarefa, ao invés de partir para join ou concat, pois na forma atual que estão, causaria muitos problemas posteriormente. Pode me ajudar?

[eduardoferreira]

Como exportar para o Excel uma sheet sem apagar as outras que já existem?