Как работает сжатие данных в PostgreSQL для хранения больших JSON-объектов?

Сжатие данных в PostgreSQL для хранения больших JSON-объектов работает с помощью механизма TOAST (The Oversized-Attribute Storage Technique). bigdataschool.ru geekr.vercel.app

Процесс происходит так: PostgreSQL хранит данные построчно на 8-килобайтных страницах на диске, стремясь заполнить каждую страницу кортежами. bigdataschool.ru Для оптимального хранения кортежи в идеале должны быть размером менее 2 КБ. bigdataschool.ru

Любой кортеж размером более 2 КБ обрабатывается с помощью TOAST, который сжимает и разбивает данные на более мелкие фрагменты. bigdataschool.ru Поддерживаемые методы сжатия для TOAST-кортежей включают pglz и lz4, тогда как кортежи размером менее 2 КБ остаются несжатыми. bigdataschool.ru

TOAST представляет собой специальные таблицы, невидимые для пользователя, в которые большие значения помещаются нарезанными на кусочки — «тосты». geekr.vercel.app При этом оригинальное значение в исходной таблице подменяется на ссылку специального вида — TOAST Pointer (TOAST-указатель), содержащую служебную информацию. geekr.vercel.app

Некоторые особенности работы механизма:

• Сортировка данных в таблице не повышает коэффициент сжатия, так как сжатие применяется только к кортежу размером более 2 КБ, независимо от порядка данных. bigdataschool.ru
• Построчное хранение данных в PostgreSQL предотвращает совместное размещение схожих данных в столбцах, что могло бы улучшить сжатие за счёт группировки схожих значений. bigdataschool.ru