Arquivos Feather - Apache Arrow e Conceitos

preview_player
Показать описание
💜 Falamos um pouco mais sobre os concetiso do Feather e como é o Apache Arrow, projeto que deu origem a esse tipo de arquivo.

---------

Leon Sólon é bacharel em Ciência da Computação e mestre em Ciência de Dados pela Universidade de Brasília - UnB. Possui mais de 20 anos de experiência na área de TI e mais há mais de 5 anos como cientista de dados. Atualmente é Auditor-Fiscal da Receita Federal (atuando como cientista de dados) e cientista de dados da startup Bludworks.

----------

📸 @leon_solon @felipeschiavon @bernardolago

🐦 @leonsolon @felipeschiavon @bernardolago

----------

Ouça nosso podcast nos principais players:

#python #datascience
  1. Let's Data
  2. inteligência artificial
  3. aprendizado de máquina
  4. cientista de dados
  5. engenheiro de dados
  6. algoritmo
Рекомендации по теме
Arquivos Feather - 0:04:43

Arquivos Feather - Apache Arrow e Conceitos

Arquivos Feather em 0:40:16

Arquivos Feather em Python

What are the 0:07:59

What are the differences between feather and parquet?

What is Apache 0:06:08

What is Apache Arrow? by Pandas Creator Wes McKinney

Bill Lattner | 0:26:21

Bill Lattner | Deconstructing Feather

Apache Arrow: A 0:45:30

Apache Arrow: A Cross-language Development Platform for In-memory Data | Ursa Labs

Neal Richardson | 0:19:55

Neal Richardson | Bigger Data With Ease Using Apache Arrow | RStudio

Aquivos feather vs 0:04:18

Aquivos feather vs arquivos parquet

PyCon.DE 2018: Fulfilling 0:26:18

PyCon.DE 2018: Fulfilling Apache Arrow's Promises: Pandas On JVM Memory Without A Copy - Uwe L....

Apache Arrow Development 0:17:16

Apache Arrow Development on Windows RTools 4 0

How to install 0:04:05

How to install feather format using conda forge

Feather e Pyarrow 0:05:18

Feather e Pyarrow

PYTHON : Using 0:01:31

PYTHON : Using pyarrow how do you append to parquet file?

Uwe L Korn 0:28:31

Uwe L Korn - Efficient and portable DataFrame storage with Apache Parquet

Vantagens Arquivos Apache 0:09:16

Vantagens Arquivos Apache Feather

NodeJS : Converted 0:01:44

NodeJS : Converted apache arrow file from data frame gives null while reading with arrow.js

Talk - Deepak 0:25:25

Talk - Deepak K Gupta: Speed Up Data Access with PyArrow Apache Arrow Data is the new API

You need to 0:09:06

You need to STOP using CSVs

Python on Snowflake: 0:12:31

Python on Snowflake: How to Get PyArrow Table Output From a Data Warehouse

O que é 0:04:18

O que é o tipo de arquivo feather?

[BID 2022] Benchmarking 0:12:59

[BID 2022] Benchmarking Apache Arrow Flight - A Wire-Speed Protocol for Data Transfer, Querying &...

Apache Arrow: A 0:44:53

Apache Arrow: A Cross-language Development Platform for In-memory Data - Wes McKinney | Crunch 2018

Speed Up Data 0:10:12

Speed Up Data Processing with Apache Parquet in Python

Apache Arrow on 0:22:21

Apache Arrow on the Web and Beyond

Комментарии
Автор

Segundo o Wes McKinney, o Feather ele é uma cópia bruta do que tá alocada na memória, e o maior ganho que você possui é justamente o que você falou de não ter serialização (propriamente dita) então feather ganha muito tempo de leitura e de escrita, porém eles consideram que pra armazenamento o parquet é meio que o "optimal type" por ordenar nativamente os vetores fazendo que as compressões sejam otimizadas. Parabéns pelo trabalho. :)

igormriegel
welcome to shbcf.ru