Как работает кодировка UTF-16 и зачем нужны суррогатные пары символов?

Кодировка UTF-16 позволяет представлять символы Unicode в виде двоичного кода. telegra.ph Каждому символу присваивается уникальный номер в таблице Unicode. telegra.ph Затем номер преобразуется в двоичную форму, разбивается на блоки по 16 бит (2 байта) и записывается в виде последовательности байтов, которые компьютер может обработать. telegra.ph

Диапазон кодируемых символов в UTF-16 разделён на несколько частей: telegra.ph

1. Базовый диапазон (BMP). telegra.ph Включает в себя символы с кодами от U+0000 до U+FFFF. telegra.ph В этом диапазоне находятся большинство часто используемых символов, включая латинские, кириллические, греческие буквы, арабские цифры, иероглифы и многое другое. telegra.ph Для символов из этого диапазона UTF-16 использует по 2 байта. telegra.ph
2. Дополнительные диапазоны (Supplementary Planes). telegra.ph Включают в себя символы с кодами, которые не помещаются в BMP. telegra.ph Для кодирования таких символов UTF-16 использует пары 16-битных слов, которые называются суррогатными парами. telegra.ph

Суррогатные пары в UTF-16 — метод, позволяющий кодировать символы, которые не помещаются в стандартный 16-битный код. sky.pro Это достигается за счёт использования пары таких единиц. sky.pro Первая единица из пары называется «ведущей суррогатной парой», а вторая — «завершающей суррогатной парой». sky.pro

Зачем нужны суррогатные пары: использование этого механизма позволяет расширить диапазон кодируемых символов UTF-16 и охватить все символы Unicode. telegra.ph Это особенно важно при работе с символами, выходящими за рамки стандартного набора ASCII, например, эмодзи или иероглифами. sky.pro