Как хранить метрики и разрезы в ClickHouse?

Для хранения метрик и разрезов в ClickHouse можно использовать следующие подходы:

Создание конфигураций в yaml-формате. habr.com Аналитик создаёт ключевые сущности: источники метрик, сами метрики и разрезы. habr.com Затем настраивает, какие метрики в каких разрезах считать. habr.com

Использование первичного ключа. gs-studio.com Данные хранятся отсортированными по первичному ключу, который задаётся структурой ORDER BY при создании таблицы. gs-studio.com Первичный ключ может быть неуникальным. gs-studio.com

Партиционирование. habr.com gs-studio.com Поскольку таблица хранит временной ряд, то партиции (секции таблицы, физически разделяющие данные) логично основывать на колонке с датой. habr.com При этом важно обеспечить управляемое количество партиций. habr.com ClickHouse хранит метаданные для каждой партиции: информацию о кусках данных, их границах, статистику и так далее. habr.com

Использование разных типов схем. clickhouse.com Например, по умолчанию используется схема wide, где каждая метрика или событие профиля хранятся в отдельной колонке. clickhouse.com Эта схема наиболее производительная и эффективная для чтений из одной колонки. clickhouse.com Схема transposed хранит данные в формате, аналогичном system.asynchronousmetriclog, где метрики и события хранятся как строки. clickhouse.com