Как СУБД помогают обрабатывать огромные массивы данных?

Системы управления базами данных (СУБД) помогают обрабатывать огромные массивы данных благодаря различным механизмам, которые увеличивают скорость обработки. loginom.ru Некоторые из них:

• Предварительный расчёт. loginom.ru Сведения, которые чаще всего используются для анализа, можно заранее рассчитать и хранить на сервере БД в подготовленном для обработки виде. loginom.ru
• Кэширование в оперативную память. loginom.ru Данные, которые занимают немного места, но к которым часто обращаются в процессе анализа, например, справочники, можно кэшировать в оперативную память. loginom.ru Скорость увеличивается за счёт того, что значительно реже приходится обращаться к медленной дисковой подсистеме. loginom.ru
• Разбиение таблиц на разделы и табличные пространства. loginom.ru Можно размещать на отдельных дисках данные, индексы, вспомогательные таблицы. loginom.ru Это позволит СУБД параллельно считывать и записывать информацию. loginom.ru
• Комбинирование моделей. loginom.ru Вначале используются наиболее простые алгоритмы. loginom.ru Часть данных, которые можно обсчитать при помощи таких моделей, анализируется и исключается из дальнейшей обработки. loginom.ru Оставшиеся данные передаются на следующий этап обработки, где используются более сложные алгоритмы, и так далее по цепочке. loginom.ru
• Модель распределённых вычислений MapReduce. loginom.ru На Map-шаге данные разбиваются на фрагменты и производится предварительная обработка. loginom.ru На Reduce-шаге происходит свёртка предварительно обработанных данных и рассчитывается итоговый результат. loginom.ru

Для работы с нагрузками, когда объёмы данных превышают 1 ТБ, используют массивно-параллельные (massive parallel processing, MPP) базы данных. habr.com