Как работает система распределенного хранения данных в Pinterest?

Система распределённого хранения данных в Pinterest работает на основе нескольких технологий, среди которых:

• Change Data Capture (CDC). blog.quastor.org Это инструмент, который позволяет отслеживать изменения в базах данных в реальном времени. blog.quastor.org Он фиксирует модификации данных, такие как вставки, обновления и удаления. blog.quastor.org Система CDC обрабатывает миллионы запросов к базам данных в секунду и передаёт сотни терабайт в день. blog.quastor.org
• MemQ. habr.com Это система PubSub, которая в Pinterest дополняет Kafka. habr.com Она использует архитектуру раздельного хранения и обслуживания, разбивает непрерывный поток логов на блоки (объекты). habr.com MemQ работает со скоростями трафика Гб/с, масштабирует, записывает и читает независимо, не требует дорогостоящей ребалансировки для обработки роста трафика. habr.com
• HBase. thetechnologyvault.com Это распределённая, масштабируемая и стабильная база данных NoSQL, построенная на основе Hadoop. thetechnologyvault.com Pinterest использует HBase для хранения и управления большими объёмами полуструктурированных данных, таких как взаимодействие пользователей и данные аналитики. thetechnologyvault.com
• TiDB. www.pingcap.com Это продвинутая распределённая база данных SQL, на основе которой в Pinterest создана новая архитектура — PinGraph. www.pingcap.com С её помощью компания упростила управление данными, улучшила производительность и сократила затраты. www.pingcap.com