Как работает система балансировки нагрузки в крупных онлайн-сервисах?

Система балансировки нагрузки в крупных онлайн-сервисах работает следующим образом: запросы от пользователей поступают в централизующее приложение, которое направляет их дальше на обработку в другие приложения. cloud.vk.com

Для решения, кому отдать запросы от клиентов, балансировщик использует различные алгоритмы: cloud.vk.com

• Круговая ротация (Round Robin). proglib.io Запросы распределяются между серверами по кругу, каждый получает равное количество запросов. proglib.io
• Наименьшее количество соединений (Least Connections). proglib.io Балансировщик отслеживает количество активных соединений на каждом сервере в пуле. proglib.io При поступлении нового запроса балансировщик анализирует текущее состояние всех серверов, и запрос направляется на сервер с наименьшим количеством активных соединений. proglib.io
• Наименьшее время отклика (Least Response Time). proglib.io wiki.merionet.ru Для каждого сервера в системе балансировщик нагрузки постоянно мониторит время, которое требуется серверу для обработки запроса и отправки ответа. proglib.io Также отслеживается количество активных соединений на каждом сервере. proglib.io При поступлении нового запроса выбирается сервер с наименьшим временем отклика и наименьшим количеством активных соединений. proglib.io

Ещё один вариант балансировки — географическая оптимизация. cloud.vk.com Запросы перенаправляются в ближайший к клиенту дата-центр. cloud.vk.com Например, запрос из Казани направляется в дата-центр поближе к Казани, а из Новосибирска — в Красноярск. cloud.vk.com

Также балансировщики нагрузки динамически добавляют или отключают серверы в случае высокого или низкого спроса. wiki.merionet.ru Например, при приросте трафика к вечеру можно удваивать число серверов, которые стоят за балансировщиками и отвечают на запросы пользователей, а после пика нагрузки — выключать ненужные машины. cloud.vk.com