Какие существуют методы быстрого подсчета времени при обработке больших массивов данных?

Несколько методов для быстрого подсчёта времени при обработке больших массивов данных:

• Предварительный расчёт. 1 Сведения, которые чаще всего используются для анализа, можно заранее рассчитать и в подготовленном для обработки виде хранить на сервере базы данных. 1
• Кэширование в оперативную память. 1 Данные, которые занимают немного места, но к которым часто обращаются в процессе анализа, например, справочники, можно кэшировать в оперативную память. 1 Скорость увеличится за счёт того, что реже придётся обращаться к медленной дисковой подсистеме. 1
• Разбиение таблиц на разделы и табличные пространства. 1 Можно размещать на отдельных дисках данные, индексы, вспомогательные таблицы. 1 Это позволит базе данных параллельно считывать и записывать информацию. 1
• Комбинирование моделей. 1 Вначале используются наиболее простые алгоритмы. 1 Часть данных, которые можно обсчитать при помощи таких моделей и которые бессмысленно обрабатывать с использованием более сложных методов, анализируется и исключается из дальнейшей обработки. 1 Оставшиеся данные передаются на следующий этап обработки, где используются более сложные алгоритмы, и так далее по цепочке. 1
• Модель распределённых вычислений MapReduce. 1 На Map-шаге данные разбиваются на фрагменты и производится предварительная обработка. 1 Это особенно эффективно при наличии у сервера большого количества ядер. 1 На Reduce-шаге происходит свёртка предварительно обработанных данных и рассчитывается итоговый результат. 1
• Профилирование кода. 2 Для точного измерения времени выполнения и использования памяти алгоритмов можно использовать инструменты профилирования. 2
• Метод Монте-Карло. 5 С его помощью описывают производительность систем, состоящих из множества алгоритмов. 5 Суть метода в том, что алгоритм прогоняют на случайных данных разного размера, замеряют время и память. 5 Полученные измерения выкладывают на отдельные графики для памяти и времени, а затем автоматически вычисляется функция, которая лучше всего описывает полученное облако точек. 5