Введение в Apache Kafka, первая тема открытого базового курса

На курсе расскажем, как настраивать распределенный отказоустойчивый кластер, как отслеживать метрики и многое другое. После прохождения курса станете гуру равномерного распределения нагрузки.

❗️А в этом уроке:
00:00 – Обзор курса и актуальность Apache Kafka.
03:20 – История создания Apache Kafka.
05:21 – Что такое Apache Kafka.
12:12 – Почему Apache Kafka.
15:34 – Примеры использования.
22:23 – Резюме урока.

Авторы:
Анатолий Солдатов, Lead Engineer в Авито
Александр Миронов, Infrastructure Engineer в Stripe, ex-Booking

[aleksandrHz]

Очень качественная подача материала все понятно и без лишней воды

[eananyev]

Пожалуйста, ВыРаВнИвАйТе ГрОмКоСтЬ! Одного еле слышно, от другого дети просыпаются...
Контент зашёл, наглядно и понятно, спасибо!

[Mytest]

Вот так иногда смотришь о чем то что сейчас на слуху модно, причем слышал о технологии с самого его зарождения... а потом бах тебя шарахают а этой технологии уже 10 лет !!)) Так же как и любимые песни слушаешь а потом видишь в ютубе что выложена была 8 лет назад )) .. не хочу быть банальным ... но как летит время.

[ИльдарГареев-вч]

Гавеное введение, хотел узнать что такое топик и партиции на примерах, но так и не узнал даже в теории, видео в топку

[vinogor]

перед использованием понятия "топик" не дают его определение...

[mootal]

немного перевода на русский
-лог - журнал
-append-only - работающий только на добавление
-джоба - задание
-сипию - время процессора
-"связаны с даунтаймом нашего приложения" - связаны с временем простоя нашего приложения
-батчинговая обработка данных - пакетная обработка данных
-риал-тайм система - система реального времени
-сохраняем в одном топике - в данный момент человек, который смотрит видео, понятия не имеет что такое topic
-producer и consumer - эти термины никак не были озвучены. Показана лишь одна картинка, после которой идёт блок информации, затем в следующем блоке эти термины употребляются, как будто они уже отлично известны слушателю
-не стали ограничиваться одним кейсом - не стали ограничиваться одним применением

[constantinemojito]

Хороший материал. Правда Анатолия Солдатова немного тяжело слушать, всё зачитывает с эркана, с большим количсеством пауз невпопад. В итоге информация начинает быстро превращаться в шум.

[koresh]

А что там со скоростью обработки входящей очереди? Какие воркеры это делают? Что если их не хватает, масштабирование в горизонт, имеется в виду как раз для этих воркеров?

Ну мы вот тут видели в нагрузку что у нас nginx закидывала все запросы в uwsgi, и он уже питоньим процессам отдавал на разгребание . Эта очередь была выставлена высокой, а воркеров было не так что бы много. И мы видели тормозящее апи в хайлоад и не понимал где ботлнек. Грешили на базу. А по факту был хайлоад и эта uwsgi очередь медленно разгребалась. Такие вот будни

[BasketBulls-lq]

Вау! Ребят, контент - жаришка! Когда 2 часть курса?

[fpsbard]

Нереально сложно и муторно для восприятия

[ВячеславП-шр]

Интересный вводный материал. Можно уточнить чем принципиально отличается идеология топиков Kafka от брокеров сообщений?

[AndreyZloy]

Хороший урок. Но пожалуйста, Толя, избавьтесь от слов-паразитов "тошто". Слух режет

[dimirsen]

Кафка не просто писатель. Ему присущ так называемый кафкианский бред(абсурд). Как вы яхту назовете, так она и поплывет ))

[Mytest]

Я бы сказал что Kafka это изначально ЛОГ. А все остальное это производные просто из общей природы этих подсистем.

[АндрейФоминых-яс]

Обьяснение лютая хрень. Какой то "Сферический конь в вакууме". Кейсы, топики.. Может вам толковый словарь подарить?

[JohnDoe-kggn]

Не пойму, почему все так хвалят лекцию? Прослушал, 90% -- вода и зачитывание копирайтерских текстов по бумажке. Без конкретики по применению, зато с лингвистически-корявыми оборотами вроде "администрировать на production-уровне".
Слегка теплится надежда, что это лишь вводно-ознакомительная серия и дальше будет более конкретно.

[ClaymenSA]

А я то думаю что всё стало таким медленным в интернете... А тут вон оно что. (Что бы что то случилось, какой то процессор должен это вычислить! ) и авито стал безумным тормозом. И новый сайт ситилнка сделали на чем то новом и модном...

[poizoneWC]

Это не курс, это чтение с бумажки. В целом одна вода.

[ПрограммистЕврей]

Это все вода - нет никаких реальных примеров !!! Печально !!

[АлександрВолобуев-мл]

Очередная замануха для того чтобы люди купили платный курс. Мы говорит научим вас рисовать сову типа, а сами рисуют два Круга такие смешные вообще. Так и скажите что замануха на платный курс в чём проблема-то?
Посмотрите лучше известное видео на YouTube про kafka (основы) вот где реально воды нет