'El reto del billón de filas': Hacks para procesar más de 12GB en 2 segundos | #laFunción 9x16

Recientemente se ha propuesto un reto a la comunidad: Procesar lo más rápido que puedas 1.000 millones de registros ("1 billion" en inglés). El reto se conoce como "One Billion Row Challenge (1BRC)", y consiste en cargar el dataset de mediciones de temperatura para determinar la medición mínima, media, y máxima de cada ciudad.

Cada línea consiste en una tupla de ciudad y temperatura separada por ";" como por ejemplo: "Hamburg;12.0". A tener en cuenta:
- Hay 413 ciudades
- La longitud de los nombres de ciudad varían entre 3 y 26 bytes
- Las temperaturas pueden ser negativas, 1 o 2 enteros, y siempre con 1 decimal

El reto se propuso inicialmente en la comunidad Java, pero han salido implementaciones en otros lenguajes de programación como Rust o C#.

En el directo analizaremos algunas de estas soluciones junto con Antón Rodriguez, Principal Software Engineer en New Relic, con más de 10 años de experiencia en el ecosistema Java. Ya estuvo en el canal mostrando las novedades de Java.

﹤🍍﹥ Enlaces
├ 🔗 Material relacionado:
└ 👋 Redes sociales:

[javierpena]

Pedazo de directo! muy muy interesante y muy bien guiado. Gracias!

[carlospaz]

Me ha encantado el video super recomendable me di 3 dias para ver este video pausadamente y tomando notas y jugando con todas las funcionalidades, muchas gracias profesor, que buen contenido.

Sería buenisimo tener sugerencia a otro video para aprender a desplegar un proyecto inicalmente creado con XAAMP .

[esarmiento]

Alguna empresa necesitaba esto gratis y creo el reto.

[LeonardoHernandezHH]

Este tema ha sido de los mejores que he visto en el canal. Muchas gracias!!!

[josergdev]

12:54 porque el TreeMap ordena el mapa por key (ciudad) automáticamente que es un requisito del challenge. HashMap no implementa SortedMap.

[pablob]

Que buen video ! se agradece muchísimo, seguramente haya tweaks adaptables al trabajo diario en las primeras soluciones(que lograron recortar el tiempo notablemente) utilizando las apis que nos ofrece Java

[gabokings]

No voy a mentir, al principio pensé que era un video vende humo, pero los felicito muy buena explicación y de los pocos videos de estructuras de datos y algoritmos que he visto en español!!!

[felixgomezlopez]

Genial el reto y las explicaciones. Grande Antón!

[RamiroAsincrono]

Excelente contenido!
Conociendo un mundo nuevo para mí

Qué gran transmisión! Saludos desde Nicaragua!

[hugoespinosa]

Anton el Scaloni de los datos!!!
Gracias por compartir estos vídeos.

[dryant]

Madre mía 😳!! Genial!!! Enhorabuena Antón!!

[boldaslove]

Muy interesante el análisis de este reto! Haced más como este

[andypanko]

Felicidades, para guardar enlace y verlo cada x tiempo, un saludo cracks

[blancoserranoj]

Excelente !!


Cuando hacen uno en spark con lecturas desde bases relacionales ?

[andryos]

El reto una pasada (sobre todo pensando en otros lenguajes) conclusión : hay que tener un equilibrio entre la solución software y la solución hardware, no siempre tendremos en los clientes escenarios ideales (hardware ampliable, velocidad de transmisión de datos, etc) y en código siempre recordar la importancia de la mantebilidad, cohesión, etc.

[eaguilar]

Hola soy aficionado a la tecnología, y yo trabajo actualmente en empresas privadas para la banca, me ha tocado procesar grandes cantidades de información, y este tema es super interesante. Voy viendo el video mas de 4 veces, no puedo creer que haya tanta información. Saludos

[inigo-xu]

Tarde y fuera de tiempo pero el Trremap lo usaban porque te garantiza el orden y una de las premisas es que el resultado este ordenado alfabeticamente

[adolfoajuz]

Algo me decia que seria un millardo y no un billon, pero igualmente excelente tema.

[lluismf]

El Treemap es para imprimir los resultados por orden alfabético, que es uno de los requerimientos.