1С Обмены через брокеры сообщений. Apache Kafka.

В этом видео рассматривается пример организации обменов 1С с применением Apache Kafka.
Описывается общая концепция Apache Kafka.
Пример создания инфраструктуры для обмена:
- Запуск кластера из нескольких брокеров;
- Использование REST PROXY для передачи сообщений из 1С в Apache Kafka по http протоколу;
- Использование Kafka connect для получения сообщений в 1С по http протоколу (через коннекторы HTTP Sink connect);
- Пример использования WebUI для администрирования Apache Kafka.

1 часть

Автономный сервер

Примеры из видео в комментариях в телеграмме

Эпизоды.
00:00:00 Концепция Apache Kafka
00:07:58 Описание примера
00:08:22 Описание архитектуры для примера
00:11:11 Реализация
00:11:55 Создание базового образа для докер контейнеров (Dokerfile)
00:13:54 Запуск контейнера с ZooKeeper
00:16:19 Запуск контейнеров с брокерами
00:18:49 Запуск контейнера для webUI для администрирования и добавление брокеров и темы.
00:23:04 Примеры потребителей (consumers) на python (протокол kafka) (примеры с группами)
00:27:55 Отправка сообщений в kafka по http протоколу через rest proxy
00:32:17 Отправка сообщений в kafka по http из 1С
00:36:14 Получение сообщений по http протоколу через kafka connect (создание контейнера)
00:40:46 Административный api для kafka connect (для управление коннекторами)
00:42:33 Тест http коннектора (простой http сервер на GO)
00:45:07 Разработка получения на стороне 1С (http сервис)
00:51:11 Где искать информацию при ошибках (при настройке коннекторов)
00:53:20 Итоги

Если вам нравится то что я делаю,
вы можете поддержать канал =)
карта мир сбер. 2202 2067 4136 1385

#1С #1сkafka #1ckafka #1суроки #видеоурок1с #бесплатныеуроки1с

[maxim.samokhval]

Спасибо за видео, не останавливайтесь !

[АлексейСоболев-ъу]

Спасибо, большое за видео, лаконично и познавательно.Попробовал повторить за вами, спотыкнулся на соединении хоста c виртуальной машиной, не устанавливается ssh соединение.Понимаю, что это не цель вашего видео, но вы не могли бы подсветить, какие настройки hyper v и виртуальной ubuntu сделали, для установления соединения по ssh?

[EatMyShorz]

Классное видео, спасибо! Но в такой системе получается очень много компонент, и вся отказоустойчивость есть только для кластера из брокеров. Но этим кластером, как я понял, управляет Zookeeper, который также может располагаться на другом сервере и выйти из строя, аналогично и с другими рассмотренными компонентами.

[ДмитрийИванов-хяя]

Можно ли таким способом обмениваться файлами xml через Rest Proxy? Или поддерживается только content-type ?