Прямое кодирование (One-Hot Encoding) при обработке естественного языка — это простая технология, при которой каждому слову в словаре присваивается уникальный индекс. 2 Затем слова представляют в виде векторов, где все элементы равны нулю, кроме одного, который соответствует индексу этого слова. 2 Однако у этого метода высокая размерность векторов, если словарь большой, и он не учитывает семантическую близость слов и частоту встречаемости. 2

Мешок слов (Bag of Words) отличается тем, что текст в нём представляется в виде «мешка» из разных слов, порядок которых игнорируется — важна только частота, с которой они встречаются. 2 Для каждого текста создаётся вектор, где каждый элемент описывает количество вхождений определённого слова из словаря. 2 Этот метод решает проблему размерности по одной оси, но не учитывает важность того или иного слова, так как одно слово может повторяться по несколько раз. 1