Базы данных. ClickHouse. Колоночные СУБД

Рассмотрим работу ClickHouse в связке с PHP.

Презентация:

Практика:

В этом занятии:
- Информация о колоночных СУБД
- OLTP / OLAP
- ClickHouse
- Что нужно для работы + установка
- Подключение
- Типы данных
- Движки
- Первичный ключ и ключ сортировки
- Создание таблицы, осуществление выборки
- Вставка данных и изменение таблиц, партиций, кусков
- Пример задачи

[masson]

по началу было как-то максимально глухо, но на моменте с задачами про запросы - аплодировал стоя. Сразу понятно зачем нужны гранулы, как устроена колоночная СУБД и вообще как оптимизировать запросы. Стало интересно, буду дальше изучать.

[AllokyDreamer]

Хорошо структурированная подача информации, спасибо за хорошую работу)

[invisibleinvisible]

Супер, и все по делу, видео огонь! да у них уже в 22.6 есть тип json, хотим тоже поиграться с командой посмотреть че как, но конечно jsonb в Postgres это мощь особенно с появлением JSON path

[alisherrakhimov]

Огромное спасибо. Подача на высшем уровне

[MADAHAKO]

Сразу Гена вспоминается) Как обычно респект за лучшее объяснение в рунете уж точно)

[garm]

Прекрасное беглое объяснение, спасибо!

[vika_fedchishina]

Ребята, огромное спасибо вам. Доклад очень полезный, все объясняете максимально понятным языком!

[awesomegamedev]

Посмотрел весь плейлист из 20 видео
По большей части со всем кроме ClickHouse был знаком, но было неплохо освежить всё в памяти
Хороший курс!


Не понял, почему ключ сортировки вначале по дате и только потом по уровню лога.
Уровней лога немного (скажем, пять), т.е. если сделать ключ вначале по уровню-лога, то чтобы сделать выборку по дате, базе нужно будет собрать информацию из небольшого количества (пяти) отрезков.
А дат, наоборот - много, и чтобы сагрегировать по приложению и логам, базе придётся прочитать все данные и уже потом сагрегировать, она не сможет просто найти начало/конец бинарным поиском и подсчитать количество не считывая данные, как могла бы в случае ключа "приложение - уровень-логов - дата"

Другими словами, как я понимаю
а) Индекс (мой) "приложение - уровень-логов - дата": задача 1 немного хуже, задачи 2-3 - оптимально
б) Индекс (видео) "приложение - дата - уровень-логов": задача 1 - оптимально, задачи 2-3 похуже

[vxgbryr]

Супер видео. Можете привести 1-2 примера когда clickhouse значительно лучше influxdb, и наоборот ?

[mikurrey]

Спасибо! Не всё понятно сразу, видимо, нужно еще вернуться к просмотру после небольшой практики. Но в целом - здорово!

[VijitCoder]

Показал слайд с SELECT, назвал кучу новых инструкций без объяснений и следом:
- 34:47 C SELECT-ом в принципе все понятно, давайте дальше..

Да ахренеть, как понятно, ага. Прям ни одного вопроса не возникло :) Хотя нет, один таки есть: кто такой Рома, который сделает нам доклад про WITH?

Как-будто какое-то home video посмотрел, чисто для своих.

[ivanshipilov]

Похоже идеальная штука для серверов аналитики. И систем безопасности.

[nkz]

Вопрос, а как происходит вставка данных с учетом первичного ключа и того момента, что вставок очень много? Условно в таблице миллион уже отсортированных записей и нужно вставить еще тысяч 10, так чтобы сортировка не нарушилась (ведь это нарушит первичный ключ), разве это не займет достаточно большое количество времени на то, чтобы пересобрать таблицу?

[ocsdjwn]

Правильно ли я понял что CH бесплатна даже если ее использовать внутри компании ?

[ibrahimgadzhimagomedov]

Такой вопрос. Кликхаус разрабатывался для Яндекс метрики, так? На сколько я знаю, в Яндекс метрики данные в бд записываются ну очень часто, чуть ли не каждый клик. Также было сказано, что кликхаус больше предназачен для чтения, нежели записи. Так в чем смысл такого выбора?

[ocsdjwn]

Как загружать в КХ большие массивы данных из плоских файлов? (Csv например)

[vladk]

А можете, пожалуйста, ещё посоветовать колоночную СУБД наподобие СН. Которую можно использовать как DWH и в которую можно запихивать CSV, JSON. Я сейчас рассматриваю Apache Druid. Но там есть один минус - нельзя использовать оконные функции.

[scbynvf]

Супер видео, можно ли назвать кликхаус альтернативой elk стэку?

[romanyarygin]

30:01 - Почему выберет 6й отрезок? Ведь там g, 1 - h, 2. Он будет думать что там возможен g, 3?

[kphxqoe]

Всё таки раскрыть бы тему со словарями в CH