Основы технологии Apache Kafka, вторая тема открытого базового курса

На курсе расскажем, как настраивать распределенный отказоустойчивый кластер, как отслеживать метрики и многое другое. После прохождения курса станете гуру равномерного распределения нагрузки.

В этом уроке:
00:00 – Цели урока.
00:30 – Kafka vs Queues.
05:37 – Структура данных.
08:35 – Consumer groups.
14:42 – Apache Zookeeper.
16:16 – Резюме урока.

Авторы курса:
Анатолий Солдатов, Lead Engineer в Авито
Александр Миронов, Infrastructure Engineer в Stripe, ex-Booking

Полезные ссылки:

[bpsandr]

Это божественно! Именно то, что и я и искал. Супер! Спасибо большое!

[illia]

Отличная подача материала, спасибо за ваши старания!

[it]

Еще, еще, прям надо еще, где взять ? Очень годный контент!

[caffeinejavacode]

1. В какую партицию записывается сообщение?
2. зачем читать сервиса из всех портиций, почему бы не читать с одной?
3. Если кафка брокер то внутри ещё брокеры? 7:37
4. Как быть с консистентностью если данные в разных партициях?

[emelyanovvadim]

Соглашусь с теми, кто был недоволен подачей материала, хотел уговорить начальство оплатить курс по кафке на слёрме (кстати, интересен генезис наименования), но теперь думаю найти похожий где-то в другом месте. В данный момент являюсь слушателем курса "кубик для разработчиков", вот там все спикеры просто класс, но не здесь!

[manOfPlanetEarth]

10:46
не понял про номера партиций и хеширование(

[AndreyZloy]

Толя перестал говорить "тошто", браво! Но стал похожим на робота )

[СергейГубко-бр]

а что у вас есть для системных аналитиков ?

[it]

Огонь, просто огонь! Я "купил"

[romanbush]

кафка аналог рест апи что ли? также позволяет обмениваться данными между приложениями?

[drewcrew]

- Чем отличаются различные брокеры сообщений друг от друга?
- Смотря какой фабрик, смотря сколько дитейлс. Так шо они юнивёрсал. Кафка же эмейзинг для всех.

[КириллПешин]

Спасибо за полезный материал.

Как партиции работают для Cosumer'ов вроде понял.
Простите за глупые вопрос джуна)

А как партиции работают для Producer'ов?

Например, у меня 2 партиции и 3 Продюсера, все аппендится будет в зависимости от ключа по его уникальности Murmur Hash или случайно RoundRobin.
И возможность сказать Продюсеру пиши только в эту партицию - это использовать уникальный ключ?
Но как тогда "запретить" остальным двум туда писать - ведь они могут туда аппендить "сообщение" со случайным ключем - RoundRobin.
Или это лишнее?

Не является ли пример, где 3 партиции и 4 потребителя неким "аналогом" резервсного потребителя. Т.е. если один из трех работающих перестал работать. Начинает работать четвертый. Или это плохо, т.к. непонятно откуда этот четвертый начнет, что прочитает и следовательно нарушится последовательность, если она нужна.

Спасибо)

[mootal]

Плохая подача информации: слова-паразиты на английском, отсутствие дублирования информации на схемах. Часть, посвящённую алгоритму подтверждения получения сообщений приходится переслушивать по несколько раз, т.к. нужно представить как это происходит. Схема очень бы помогла.

[evgenys]

фетчит сообщение... помечая как инфлайт( ну совсем не понятно), мне бы простым языком

[allkotraz]

интересно, кафка не имеет единую точку отказа, но зукипер может положить кластер)))

[matthewbenjamin]

Да бля, че просто книгу орелли пересказываете по кафке

[MaxMalts]

Когда говорит Александр, ничего не понятно))

[ДжонСноу-яэ]

Почему назвали push и pull модели, больше мне кажется подходит polling и notify(watching)

[ЛеонидПескин-зы]

да, что-то реально не понятно, мало визуализации и подробностей)

[moroesx]

не совсем понятно где здесь "отличная подача материала", справа чел в очках сидит по бумажке читает