Какие кодировки символов используются для обработки естественных языков?

Для обработки естественных языков используются различные кодировки символов, среди них:

• ASCII. spravochnick.ru otus.ru Первый стандарт кодировки символов, в котором предусмотрен английский алфавит (латиница). otus.ru Состоит из 128 уникальных символов. otus.ru
• ISO. otus.ru Стандарт, представленный 8 битами. otus.ru Младшая группа символов здесь представляет собой «базовый» ASCII, а старшая группа отводится под разнообразные языки. otus.ru
• KOI8-R. otus.ru Расширенный вариант представления ASCII, который предназначается для работы с символами русского алфавита. otus.ru
• Unicode. mech.math.msu.su dzen.ru Универсальный набор символов, который объединяет буквы практически всех современных языков, большой набор иероглифов, цифры, знаки пунктуации, множество математических и технических символов. mech.math.msu.su

Также существуют кодировки с переменной длиной символа, например UTF-16 и UTF-8. mech.math.msu.su kunststube.net