Основи роботи з Kafka з Павлом Вейником

Павло Вейник про основи роботи з Kafka: messaging, найпростіший код, короткий огляд функціоналу + корисні посилання та ресурси.

📌Про спікера:

🔹Павло - Java-розробник з 2003, лід з 2008, CTO c 2016.
🔹Досвід роботи як у стартапах, так і ентерпрайзах.
🔹Проводить навчання з 2008 року (Java та архітектура).
🔹На даний момент працює на посаді архітектора в EPAM, а також є засновником і CEO центру IT-навчання "Hard & Soft Skills".

Посиланняи:

Що почитати:

Kafka vs Rabbit MQ

Kafka vs Pulsar

Відмовостійкість Kafka

Kafka Transactions

Data Science & Kafka

Найм по світу [phone]
​​Найм в Україні [phone]

Підписуйтесь на новини нашої команди в наступних соц.мережах:

Компанії партнери:

Creative Commons — Attribution-ShareAlike 3.0 Unported— CC BY-SA 3.0

[KonstantinShibkov]

Отличное объяснение и наглядный пример! Спасибо!

[ИрикКашапов-шо]

Самое лучшее видео по kafka👍разложили прям все по полочкам

[Halfbloodimus]

Подача супер, особенно спасибо за список ссылок.

[ildarvalitov]

Спасибо за ваш труд и воможность его увидеть =)

[davitkostandyan]

The best of best video about Kafka. Thanks!

[konstb]

49:20
Ожидаемое поведение консьюмеров. После закрытия окна консьюмер продолжает работать в контейнере и читать сообщения. Если явно завершить работу консьюмера через ctrl+c, то ожидаемая перебалансировка произойдет.

[VasillaRobocraft]

думаю стоило упомянуть, что выход из kafka console producer осуществляется командой
ctrl + c

[outlawIife]

У меня только один консьюмер из группы считавет сообщения(

[dimasamsonau]

Ооо, хоть где-то я увидел код! а то все только пиздят и пиздят.... СПасибо тебе человек!)

[РоманРаевский-эи]

Подскажите, пожалуйста, а есть ли такая настройка, при которой consumer на которого не достается партиции, читает какую либо партицию? Например: в топике 3 партиции, а консьюмеров 4

[eduardmart]

А какие размеры сообщений в кафке могут быть?
Я так понимаю файлы туда засовывать не очень хорошая идея?

[giorgi_pa]

А кафка без докера не пашет?я новичок в этом деле.

[bobhutchinson]

скудноватое объяснение если смотреть с нуля.

[Айлана-жл]

Чтобы увеличить количество партиций /bin/kafka-topics --bootstrap-server localhost:9092 --alter --topic demo-topic --partitions 3

[NickMukhin]

Теперь я понял смысл слогана "Мы рождены, чтоб Kafka сделать былью".

[sadstill]

че все описание на украинско, а вебинар главное на русском)))) Вот не в падлу же было какому-то огузку все менять на укр.

[outlawIife]

У кого ошибки кидает зукипер юзайте вместо --zookeeper zookeeper:2181 вот это --bootstrap-server localhost:9092

[sqlprog]

Чем брокер отличается от топика?

В Apache Kafka термины "брокер" и "топик" представляют собой два ключевых компонента архитектуры, выполняющих различные функции:

1. **Брокер (Broker):**
- **Определение:** Брокер в Kafka представляет собой сервер, который участвует в хранении и передаче данных. Он является основным компонентом, обеспечивающим распределение сообщений между производителями и потребителями.
- **Функции:** Брокер отвечает за управление топиками, хранение сообщений в журнале (логе), а также передачу сообщений от производителей к потребителям. Кластер Kafka может состоять из нескольких брокеров, и они работают совместно для обеспечения отказоустойчивости и масштабируемости.

2. **Топик (Topic):**
- **Определение:** Топик в Kafka - это категория или канал, который используется для классификации сообщений. Производители отправляют сообщения в определенный топик, а потребители читают сообщения из топика.
- **Функции:** Топик определяет, как сообщения организованы и каким образом они могут быть распределены по разным частям кластера брокеров. Он также является механизмом для масштабирования и обеспечивает возможность увеличения пропускной способности и хранения данных в системе.

Таким образом, брокер представляет собой физический узел или сервер, который управляет хранением и передачей данных, в то время как топик - это логическое понятие, определяющее категорию сообщений. Каждый топик может быть разделен на несколько партиций для обеспечения распределенного хранения данных и параллельной обработки.