Почему для хранения больших объемов информации используются нестандартные форматы?

Нестандартные форматы для хранения больших объёмов информации используются, чтобы решить проблемы, связанные с обработкой и хранением таких данных. habr.com otus.ru

Некоторые из них:

• Нагрузка на подсистему хранения. habr.com otus.ru По мере роста объёма данных увеличивается и стоимость их обработки и хранения. habr.com
• Неоднородность данных. advertisingforum.ru Информация может поступать в разных форматах — структурированных, полуструктурированных и неструктурированных. advertisingforum.ru
• Эволюция схем. habr.com otus.ru Схемы данных могут изменяться с течением времени. habr.com

Для хранения больших объёмов информации используются, например, такие нестандартные форматы:

• Avro. habr.com innostage-group.ru Формат хранения по строкам, в котором данные описываются через схему (чаще всего JSON). habr.com innostage-group.ru
• Parquet. habr.com innostage-group.ru Столбчатый формат, в котором вместе хранятся однотипные значения каждого столбца. habr.com
• ORC. habr.com otus.ru Хранит коллекции строк в одном файле, а внутри коллекции строчные данные хранятся в столбчатом формате. habr.com