Несколько форматов записи объёмов данных существует из-за разных задач, которые необходимо решить при работе с большими объёмами информации. 3

Некоторые форматы предназначены для общего использования, другие разработаны для более специфических вариантов, а третьи созданы с учётом конкретных характеристик данных. 1

Некоторые примеры форматов и их особенности:

• Линейные (строковые). 3 Строки данных одного типа хранятся вместе, образуя непрерывное хранилище. 3 Такие форматы, например AVRO и Sequence, подходят для потоковой записи, так как в случае сбоя информация может быть восстановлена с последней точки синхронизации. 3 Однако линейный способ хранения данных обусловливает пониженную скорость операций чтения и выполнении избирательных запросов, а также больший расход дискового пространства. 3
• Колоночные (столбцовые). 3 Файл разрезается на несколько столбцов данных, которые хранятся вместе, но могут быть обработаны независимо друг от друга. 3 Такой метод хранения информации позволяет пропускать ненужные столбцы при чтении данных, что существенно ускоряет чтение. 3 Однако такой формат чтения и записи занимает больше места в оперативной памяти, поскольку, чтобы получить столбец из нескольких строк, кэшируется каждая строка. 3

Таким образом, выбор формата данных зависит от практических задач, которые необходимо решить с его помощью в рамках функциональных возможностей конкретной Big Data системы. 3