Возможно, имелась в виду работа балансировщика нагрузки, который распределяет входящие запросы между несколькими серверами. 2

Балансировщик выполняет следующие функции: 2

• Постоянно проверяет доступность серверов. 2 Если один из них перестаёт отвечать, задействуется альтернативный. 2
• Корректирует настройки соединений: количество и разные типы тайм-аутов. 2

Балансировка нагрузки может производиться по разным критериям: в порядке очереди, по степени загруженности серверов, по количеству подключений и многим другим аспектам. 5

Некоторые алгоритмы балансировки нагрузки:

• Round Robin (круговой метод). 2 Запросы распределяются между серверами по очереди: первый запрос — на первый сервер, второй — на второй и так далее, а затем по второму кругу. 2
• Least Connections. 1 Алгоритм направляет входящие запросы на сервер с наименьшим количеством активных соединений в данный момент времени. 1
• Weighted Least Connections. 1 Каждому серверу присваивается вес, отражающий его мощность. 1 При поступлении нового запроса вычисляется соотношение активных соединений к весу сервера, и запрос направляется на сервер с наименьшим значением этого соотношения. 1
• Sticky Sessions. 5 Алгоритм распределяет нагрузку не только по количеству подключений к серверам, но и по IP-адресам элементов сети. 5