Как работает механизм хранения удаленных данных в HBase?

Возможно, имелся в виду механизм хранения данных в распределённой базе данных HBase. habr.com edevelop.ru

Данные в таблицах HBase разделяются на регионы на основе ключа строки. edevelop.ru Это позволяет эффективно распределять данные между рядовыми серверами и обеспечивать быстрый доступ к данным по ключу. edevelop.ru

Каждый регион содержит:

• Persistent Storage — основное хранилище данных в HBase. habr.com Данные физически хранятся на HDFS, в специальном формате HFile. habr.com
• MemStore — буфер на запись. habr.com Так как данные хранятся в HFile в отсортированном порядке, обновлять HFile на каждую запись довольно дорого. habr.com Вместо этого данные при записи попадают в специальную область памяти MemStore, где накапливаются некоторое время. habr.com
• BlockCache — кэш на чтение. habr.com Позволяет существенно экономить время на данных, которые читаются часто. habr.com
• Write Ahead Log (WAL). habr.com Так как данные при записи попадают в MemStore, существует некоторый риск потери данных из-за сбоя. habr.com Чтобы этого не произошло, все операции перед осуществлением манипуляций попадают в специальный лог-файл. habr.com Это позволяет восстановить данные после любого сбоя. habr.com

При удалении определённого атрибута физически он сразу не удаляется, а лишь маркируется специальным флажком tombstone. habr.com Физическое удаление данных произойдёт позже, при выполнении операции Major Compaction. habr.com

HBase автоматически управляет разделением и объединением регионов данных, чтобы обеспечить балансировку нагрузки и оптимальное использование ресурсов кластера. edevelop.ru