Node.js Streams + Rate Limiting = Mastering Data Processing Advanced JavaScript|| Erick Wendel

You're gonna go through an experiment reading 500K items from a file and gradually posting them to Web Service that can only support ten requests per second.

✅ SOURCE CODE

✅ FOLLOW ME

✅ TIMELINE

00:00 - SUBSCRIBE NOW
00:30 - About video content
03:09 - About the project
04:25 - initializing the project using express and body-parser
05:19 - Creating a simple server using express
07:00 - Writing curl to initialize the server
08:34 - Checking received data using body-parser
10:05 - Parsing the received data
10:42 - Getting to know and installing the Express Rate Limit package
13:15 - Creating the data integration project
14:04 - Using bash script to create a CSV file in the project
17:48 - Reading data in CSV file using pipeline and readStream
19:24 - Installing csv-to-json
20:21 - Creating a data processor (Transform streams)
22:47 - Clearing data using the transform step
23:51 - Creating a function to view logs on the same line
26:30 - Consuming the API and setting a rate limit
30:08 - Removing the limiter and testing application behavior
31:03 - Implementing the throttling strategy
34:32 - Implementing an internal counter for processed items
37:40 - Process items and check timeout
40:05 - Summarize all the experiments in the project
41:22 - Replacing push( ) with callbacks, in throttle
41:56 - Final considerations
43:10 - Blooper reel
44:33 - Thank you!

#Nodejs #Streams #RateLimiting #DataProcessing #AdvancedJavaScript #ErickWendel #JavaScript #Backend #WebDevelopment #WebApps #FullStack #Coding #Programming #Tech #SoftwareDevelopment #NodejsDeveloper #CodeNewbie #NodejsStreams #RateLimitingTechniques #DataFlow #AsynchronousProgramming #NodejsCommunity #WebPerformance #ServerSide #EventLoop #NodejsTips #JavaScriptTricks #CodingSkills #TechTips #OnlineLearning #DeveloperSkills

[inTerActionVRI]

Literalmente a gente não perde o sotaque quando fala em inglês, hehehehe

Cheguei aqui pelo impulsionamento sobre atenção em 5 pontos vulneráveis para se atentar em segurança e evitar ser derrubado em node.js.

[veremox]

dude the way you make the stream almost if not totally visual on the process of teaching what's going on is very interesting and good
great content! learnt A LOT

[maxwell-silva]

I really recommend the Mastering In Nodejs Stream... and Thanks about this very great class!

[vitorvalim]

Seus vídeos são ótimos cara, e estão me forçando a aprender inglês kkkk

[kainangabriel]

i have a question. Could use "app.use(express.json())" instead of "app.use(bodyParser.json())" ?

[LorhanSohaky]

Só uma observação. Acho que a expressão "leave your like" não é tão comum, parece que "thumbs up" é mais utilizada

[gustavocampos]

Muito bom ver brasileiro fazendo vídeo em inglês, também penso em produzir conteúdo pra gringa, valeu pela inspiração.

[mykun]

dear Erick, What do you think about BUN JS RUNTIME, could you release a video about it in the future?

[codedusting]

Difference between express.json() middleware and body-parser?

[nikollasdavid]

Esse código pode ser implementando por Typescript sem grandes dificuldades? Assim como o seu curso de JS expert?

[رانيا-ثر]

اللهم صل علي محمد صلى الله عليه وسلّم 😊😊😊😊😊😊😊😊😊

[marcelorl]

ok, im pretending the last example he covered he processed 10 items but it was 9 only.

[caiofxlipe]

Quando você trabalha com streams, você fala que os arquivos são quebrados em chuncks que são pedacinhos do dado, mas que pedacinhos são esses? cada chunck é uma linha do csv? uma row do database? nos podemos alterar o tamanho desse chunck?

[principe.borodin]

Eu ia comprar o curso desse cara, mas so ta fazendo video em ingles, eu nao entendo ingles, vou agora procurar outro curso pra comprar.