Паттерны хранения и обработки данных в ClickHouse / Александр Крашенинников (Badoo)

preview_player
Показать описание
Приглашаем на конференцию Saint HighLoad++ 2024, которая пройдет 24 и 25 июня в Санкт-Петербурге!
--------
--------
Saint HighLoad++ 2019

Тезисы и презентация:

В последние два года ClickHouse стал одним из лидирующих инструментов в задачах OLAP. Высокая производительность в совокупности с встроенными средствами масштабирования и отказоустойчивости дают широкие возможности по построению систем обработки данных. Однако при всём богатстве инструментов, есть ряд нюансов, которые стоит учитывать при проектировании хранилищ - движки хранения данных, система репликации, retention данных.
...
--------
  1. HighLoad Channel
  2. highload
  3. Saint HighLoad
  4. Александр Крашенинников
  5. Базы данных / другое
  6. Митапы
Рекомендации по теме
Паттерны хранения и 0:51:48

Паттерны хранения и обработки данных в ClickHouse / Александр Крашенинников (Badoo)...

Вам нужно знать 0:10:10

Вам нужно знать только 3 структуры данных

Как перенести, хранить 0:40:17

Как перенести, хранить и обрабатывать данные

Дмитрий Бугайченко — 1:11:26

Дмитрий Бугайченко — Stateful streaming: Кейсы, паттерны, реализации...

Распределённая параллельная обработка 1:15:04

Распределённая параллельная обработка данных технологией Map-Reduce...

Современная Backend Архитектура. 0:13:55

Современная Backend Архитектура. Масштабируемые и высоконагруженные приложения...

Паттерны отказоустойчивости для 1:09:24

Паттерны отказоустойчивости для межсервисного взаимодействия // занятие курса «Software Architect»...

Паттерны микросервисной архитектуры 0:59:10

Паттерны микросервисной архитектуры часть 2| Microservices architecture patterns part 2...

Лекция 1 | 1:30:20

Лекция 1 | Распределенные системы хранения и обработки данных | Владислав Белогрудов...

GoF (Поведенческие паттерны 0:49:58

GoF (Поведенческие паттерны проектирования) - 1

Event-Driven Architecture в 0:41:10

Event-Driven Architecture в контексте микросервисов: основные паттерны | Николай Голов, ManyChat...

Лекция 1 | 1:31:24

Лекция 1 | Технологии хранения и обработки больших объёмов данных | Дмитрий Барашев...

Паттерны микросервисов // 0:59:59

Паттерны микросервисов // Демо-занятие курса «Системный аналитик. Team Lead»...

Шаблоны проектирования для 1:07:50

Шаблоны проектирования для микросервисов

Паттерны проектирования в 1:59:39

Паттерны проектирования в C#: абстрактная фабрика, декоратор и др. // «C# Developer. Professional»...

Паттерны интеграции приложений 1:17:56

Паттерны интеграции приложений // Демо-занятие курса «Highload Architect»...

Design Patterns в 2:34:35

Design Patterns в 1С. Рассматриваем и пробуем реализовать популярные GoF-паттерны...

Анастасия Остапенко, Основы 0:26:44

Анастасия Остапенко, Основы хранилищ данных. Путь данных от источников до отчетов...

Основы системного дизайна 0:28:46

Основы системного дизайна за 30 минут

MongoDB #19 MVC 0:08:39

MongoDB #19 MVC и Роутер (MVC Pattern & Router)

12. ActiveRecord pattern. 1:18:06

12. ActiveRecord pattern. Migration. DB internals. ( in Russian language )

Распределенные системы. Часть 0:33:41

Распределенные системы. Часть 1. Паттерны распределенных систем...

Лекция 4 | 0:50:47

Лекция 4 | Технологии хранения и обработки больших объёмов данных | Дмитрий Барашев...

Распределенные системы. Паттерны 0:33:40

Распределенные системы. Паттерны распределенных систем - часть 1...

Комментарии
Автор

Очень круто! Тонны полезной информации, спасибо докладчику! Интересное решение с key-value хранением данных, вместо классической денормализации.

godfreys
Автор

приятно смотреть, как уверенный в себе оратор приводит кейсы как они безграмотно используют CH

dtjwbpg
Автор

Очень крутой доклад, спасибо! Пойду думать что из этого применимо у нас.

alexeysokolov
Автор

Вообще не понял что за деградация при > 200 таблиц. Они выбрали супердерьмовый подход и не объяснили почему. Просто > 200 таблиц начинают тормозить?

GP-ezms
Автор

Крутой доклад, спасибо!
Можно уточнить по борьбе с дубликатами из Кафки, есть некоторое непонимание. Есть таблица на кафка движке, если целевая таблица, где не должно быть дублей. Если брать вашу модель с расширение таблицы полями топик и офсет, то я не могу понять где и как делать проверку офсета.
Цепочка такая: кафка - матвью в целевую таблицу - целевая таблица - матвью в таблицу последнего сдвига по топику - таблица топик-офсет
Я стараюсь проверку использовать в первой матвью, но блок WITH с подзапрос не работает, так как нужно же фильтровать по топику, а клик не видит в блоке Вирт столбец _topic, а Inner join боюсь положит вставку.
Не могли бы подсказать этот момент?

И еще вопрос, почему не учитываются партишены?

rostislavratushniy
Автор

интересно, если вы делаете сначала select max()..., а потом insert max+1 и без транзакций, как у вас получается избежать дублирования id в insert?

DennisPush
Автор

К названию. А патерны и образцы -это одно и тоже?

frvlad