Какие особенности архитектуры DataLens способствуют быстрой обработке больших объемов данных?

Некоторые особенности архитектуры DataLens, которые способствуют быстрой обработке больших объёмов данных:

• Прямой доступ к источнику. dzen.ru DataLens не хранит данные внутри себя, а обращается к источнику напрямую при работе с визуализациями. dzen.ru Это позволяет настраивать аналитику в режиме реального времени: в случае изменения или обновления данных в источнике, они сразу же актуализируются и на визуализациях. dzen.ru
• Колоночное хранение. habr.com Построение отдельных графиков и виджетов, которые используют небольшое количество полей в исходной таблице, происходит быстро. habr.com Сканируются только нужные колонки из исходной таблицы. habr.com
• Механизм проекций. habr.com Это дополнительные структуры предагрегированных данных, которые хранятся в СУБД и привязаны к основной таблице. habr.com При выполнении запроса оптимизатор может читать данные из проекции вместо таблицы, если агрегации в запросе совпадают с агрегациями в проекции. habr.com
• Асинхронная загрузка чартов. habr.com Это позволяет ускорить загрузку отчётов с большим объёмом данных. habr.com
• Оптимизация структуры дашборда. datalens.tech Запросы к источнику выполняются для каждого чарта на текущей вкладке. datalens.tech При большом количестве чартов загрузка вкладки может занимать много времени. datalens.tech Рекомендуется располагать на одной вкладке минимальное количество чартов с учётом частоты их одновременного использования. datalens.tech