Брокер сообщений Kafka в условиях повышенной нагрузки / Артём Выборнов (Rambler&Co)

Приглашаем на конференцию HighLoad++ 2024, которая пройдет 2 и 3 декабря в Москве!
--------
РИТ++ 2017, Backend Conf

Тезисы:

Kafka - распределённый брокер сообщений, нашедший широкое применение как универсальная шина для больших данных. Kafka позволяет как реализовать realtime-обработку большого числа событий, так и построить батчевый pipeline по доставке логов.

Почему мы используем Kafka? Если коротко - унификация. А если чуть подробнее - десятки поставщиков, терабайты логов каждый день, онлайн- и офлайн-pipeline'ы - без единой высокопроизводительной шины данных с этим крайне сложно совладать.

Из доклада вы узнаете о том, почему мы перешли на Kafka, и как она вписалась в наш pipeline. Поймёте, как обеспечить exactly once доставку данных. Узнаете о том, как из-за одной опечатки в несколько раз выросла нагрузка на Kafka, и что мы из этого выяснили. Выясните, какие метрики Kafka стоит мониторить и как по ним понять, что что-то идёт не так.

[waffleboot]

Потерю данных при переизбрании лидеров лучше было бы продемонстрировать на примере split-brain, а то непонятно как это происходит. RF=3 и ISR=2 это на самом деле про нечетное количество членов в кворуме, RF всегда должен быть нечетным.

[webypanda]

отличный доклад. про мониторинг - полезно

[andreypotekhin]

Отличный доклад, спасибо!
P.S.: Воду лучше пить из стакана или отключать микрофон. Эти звуки выбешивают не только доктора Хауса:)

[xxxxPomaHxxxx]

А нафига тут в кафке нужна репликация вообще, какие проблемы если у вас всё данные будут равномерно размазаны по всем нодам? А эта штука которая раз в 30 мин запускается, просто или одновременно или по очереди коннектится к каждой да выкачивает всё.

[eleias.singer]

Для людей не знакомых с Kafka слушать довольно тяжело

[konstantinchvilyov]

ack.=acknowledge [ək'nɒlıdʒ] -
1. признавать, допускать; сознавать
2. узнавать, опознавать, распознавать; признавать
3. подтверждать (получение чего-л.)

[corpseeater]

Ребята из рамблера, отправьте докладчика к логопеду, это ужасно

[konstantinchvilyov]

fetch [feʧ] -
1.1)а) принести, достать;
б) сходить за кем-л., позвать кого-л.; приглашать
2)а) = fetch up достигать, добиваться
б) приносить доход, зарабатывать

[quantumlexa]

странный немного доклад. автор так упоролся в "exactly once" и даже не объяснил, зачем ему оно надо

[konstantinchvilyov]

Semantic [sı'mæntık] - смысловой, Значение.

[tatiana]

доклад интересный, но бесконечные паразитные "а" между словами задалбывают

[MaksUsanin]

11:55 Все время просмотра я переживал чтобы автор не умер ...

[alexmur]

Чувак воды пьет много с бодунища после пивка?)

[konstantinchvilyov]

Unclean [ʌn'kli:n] -
1. 1) нечистый, грязный; поганый
2) неопрятный, неряшливый
2. нечистый (о пище)
3. аморальный, непристойный