How PostgreSQL handles different Unicode normalization forms?

PostgreSQL поддерживает различные формы нормализации Unicode с помощью функции normalize(). www.sqliz.com Она преобразует заданную строку в указанную форму нормализации и возвращает результат. www.sqliz.com

Стандарт Unicode определяет четыре формы нормализации: NFC, NFD, NFKC или NFKD. www.sqliz.com По умолчанию используется форма NFC. www.sqliz.com

Некоторые особенности работы с формами нормализации в PostgreSQL:

• Сравнение строк. www.enterprisedb.com По умолчанию PostgreSQL сравнивает строки по байтам, не учитывая, что одна и та же строка может быть представлена по-разному. www.enterprisedb.com Для работы с кодировками, которые могут быть представлены по-разному, в PostgreSQL 12 ввели недетерминированные коллации. www.enterprisedb.com Они не только сравнивают байты, но и проводят необходимую предварительную обработку. www.enterprisedb.com
• Конкатенация. www.enterprisedb.com Объединение двух нормализованных строк не всегда приводит к нормализованной строке. www.enterprisedb.com
• Альтернативные формы символов. www.enterprisedb.com Unicode содержит альтернативные формы букв и других символов для различных целей совместимости. www.enterprisedb.com Для работы с такими формами в Unicode есть дополнительные формы нормализации: NFKC и NFKD. www.enterprisedb.com Они преобразуют альтернативные формы в канонические базовые буквы. www.enterprisedb.com