Какие методы подсчета используются при работе с большими диапазонами данных?

Некоторые методы подсчёта при работе с большими диапазонами данных:

• Предварительный расчёт. loginom.ru Сведения, которые чаще всего используются для анализа, можно заранее рассчитать и в подготовленном для обработки виде хранить на сервере базы данных. loginom.ru
• Кэширование в оперативную память. loginom.ru Данные, которые занимают немного места, но к которым часто обращаются в процессе анализа, например, справочники, можно средствами базы данных кэшировать в оперативную память. loginom.ru
• Разбиение таблиц на разделы и табличные пространства. loginom.ru Можно размещать на отдельных дисках данные, индексы, вспомогательные таблицы. loginom.ru Это позволит системе управления базами данных параллельно считывать и записывать информацию. loginom.ru
• Комбинирование моделей. loginom.ru Вначале используются наиболее простые алгоритмы. loginom.ru Часть данных, которые можно обсчитать при помощи таких моделей и которые бессмысленно обрабатывать с использованием более сложных методов, анализируется и исключается из дальнейшей обработки. loginom.ru Оставшиеся данные передаются на следующий этап обработки, где используются более сложные алгоритмы. loginom.ru
• Паттерн MapReduce. loginom.ru Один из популярных подходов к обработке больших данных. loginom.ru На Map-шаге данные разбиваются на фрагменты и производится предварительная обработка. loginom.ru На Reduce-шаге происходит свёртка предварительно обработанных данных и рассчитывается итоговый результат. loginom.ru
• Сэмплинг. loginom.ru Для получения репрезентативных выборок существуют специальные методы, например, сэмплинг. loginom.ru Их применение позволяет повышать скорость аналитической обработки, не жертвуя качеством анализа. loginom.ru

Выбор метода зависит от конкретной задачи. www.excelfin.ru