Apache Kafka: погружение на 45 минут. Григорий Кошелев, Контур, ведущий разработчик

Уральская конференция веб-разработчиков #UWDC2024
Apache Kafka: погружение на 45 минут.
Григорий Кошелев, Контур, ведущий разработчик
--
Партнеры и спонсоры конференции:
Orion soft - один из лидеров ИТ-индустрии, ведущий производитель платформ виртуализации и инфраструктурных решений

АО «Альфа-Банк» - крупнейший частный банк в России, который уже выбрали 30 миллионов клиентов

Xpage - разработчик высоконагруженных цифровых решений для среднего и крупного бизнеса. Работает и развивается с 2003 года. Входит в число лучших компаний-разработчиков для спортивных и e-commerce-проектов (по результатам Рейтинга Рунета)

Инфиннити - ведущая российская ИТ компания, разрабатывающая медицинские и образовательные информационные системы в государственном секторе

ПАО «Ростелеком» - признанный технологический лидер в инновационных решениях в области цифровых государственных сервисов, кибербезопасности, цифровизации регионов, здравоохранения, биометрии, образования, ЖКХ, а также в сфере облачных вычислений и услуг дата-центров
--
Погружение в Apache Kafka для разработчиков:
1. Внутреннее устройство и принцип работы основных компонентов Apache Kafka.
2. Особенности использования Apache Kafka в различных сценариях.
3. Разбор best practices и мифов.

[SuperRinzler]

2 года не трогал кафку. Самое то, чтоб освежить знания перед собесами. Большое спасибо!

[HideDJeker]

Важные уточнения - компакшен и удаление только на неактивных сегментах. (бывали случаи когда потребители железно хотели подвязаться на время жизни сообщения или что компакшен отработает для ключа, в общем было бы хорошо упомянуть что это чисто механизмы экономии места и логически подвязываться на них не нужно)
Не рассказано про доступность чтения.
Можно так же рассмотреть семантики на доставку и если шире смотреть в семантику обработки можно тогда уже рассматривать от отправки до обработки) если вы при отправке позволяете потерять сообщение то чебы не делали на консюмере эт лист онас вы не сделаете) .
Время сообщения интересно кстати с точки зрения библиотеки не знаю, но вроде это конфигурируется на стороне брокера какое время использовать для kafka timestamp - клиентское или серверное, подозреваю что при втором кейсе - клиентское будет проигнорировано.
В хедерах полезно бывает указывать какие то поля которые могут быть полезны для фильтрации - зачастую в нагруженных системах фильтрация нужных событий может требовать 10% данных, и десериализация какого нить бинарного формата может быть дорогостоящей для фильтрации, ну и всякие моменты что бывает сложно вызвать реконфигурацию на большее количество партиций или заложить их большое количество.
Зачем было говорить о партишинере не сильно понял, было бы хорошо упомянуть тут что линеаризуемость обработки сообщений есть только в рамках бизнес ключа который хотим держать в 1 партици.

В целом доклад понравился, все по фактам, но если честно не понял для кого это было, тех кто не знает о кафке не осилят такую скорость) а о каких то нюансах наверное мало чего было сказано.

[_qaroom]

Где же вы были в 2017ом) Спасибо за доклад! А по скорости вообще топ. Я эту информацию выцеплял из 10часового курса)

[kookooyob]

Жаль, что организаторы не публикуют ссылки на предыдущие выступления автора, которые он упоминает в докладе. Может быть, ещё не поздно их опубликовать?

[leomysky]

Хороший доклад, спасибо за информацию

[milordplus]

Спасибо! В конце доклада говорится, что нет DLQ, но есть же DLT или это не совсем то?

[hurricane-rus]

На следующем выступлении можно попробовать не спешить так, как на этом)
Иначе поток информации слишком большой, через 10 минут начинаешь слушать как радио