Какие основные концепции используются при работе с данными?

Некоторые основные концепции, которые используются при работе с данными:

• Модели данных. sky.pro Фундаментальная концепция, которая определяет архитектуру IT-систем и их бизнес-возможности. sky.pro Выделяют концептуальную, логическую и физическую модели данных. sky.pro
• Обеспечение целостности данных. sky.pro Достигается через применение нескольких механизмов: доменная целостность (ограничения на допустимые значения атрибутов), сущностная целостность (гарантия уникальности первичных ключей), ссылочная целостность (поддержание корректных связей между таблицами) и пользовательская целостность (бизнес-правила и ограничения). sky.pro
• Индексирование. sky.pro Стратегическое индексирование — ключевой аспект производительности модели данных. sky.pro Различают первичные индексы (на основе первичных ключей), вторичные индексы (для ускорения поиска по неключевым атрибутам), композитные индексы (объединяющие несколько полей), полнотекстовые индексы (для оптимизации поиска в текстовых данных) и пространственные индексы (для географических данных). sky.pro
• Партиционирование и шардирование. sky.pro Применяются для работы с большими объёмами данных. sky.pro Горизонтальное партиционирование (разделение таблицы по строкам), вертикальное партиционирование (разделение таблицы по столбцам) и шардирование (распределение данных между несколькими физическими серверами). sky.pro
• Статистические характеристики. tproger.ru Наиболее часто используемая статистическая концепция в Data Science. tproger.ru В неё входят такие понятия, как отклонение, дисперсия, среднее значение, медиана, процентили и многие другие. tproger.ru
• Снижение размерности. proglib.io tproger.ru Подразумевает уменьшение количества измерений набора данных. proglib.io tproger.ru Для этого используют, например, метод главных компонент (PCA), который создаёт векторные представления признаков и показывает их связь с выходом. tproger.ru