В чем заключаются основные проблемы объединения данных из разных шардов?

Некоторые основные проблемы объединения данных из разных шардов:

• Сложности с глобальными транзакциями. tproger.ru Если, например, счёт А находится на одном шарде, а счёт Б — на другом, стандартная транзакция не сработает. tproger.ru Для объединения данных между независимыми серверами нужны сложные и медленные механизмы координации. tproger.ru
• Проблемы с агрегатами и аналитикой. proselyte.net Любой запрос, охватывающий более одного шарда, требует обращения ко всем шардам и слияния результатов. proselyte.net Это может сильно нагружать систему, особенно если такие запросы делаются часто. proselyte.net
• Неравномерная нагрузка. tproger.ru proselyte.net Неправильный выбор ключа шардирования может привести к тому, что один узел оказывается узким местом, а остальные простаивают. proselyte.net Производительность всей системы начинает зависеть от самого загруженного шарда. tproger.ru
• Сложность управления и мониторинга. tproger.ru Шардированный кластер — это распределённая система, управлять которой сложнее, чем одним сервером. tproger.ru Требуется отслеживать состояние каждого шарда, равномерность распределения нагрузки, задержки в сети, работу маршрутизаторов. tproger.ru
• Сложность отладки. tproger.ru Найти источник проблемы в распределённой системе сложнее. tproger.ru Ошибка может быть где угодно: в приложении, маршрутизаторе, на одном из шардов или в сети. tproger.ru
• Сложность резервного копирования. tproger.ru Создание согласованных резервных копий и восстановление данных со множеством независимых шардов требует более сложных процедур. tproger.ru