Метод машинного перевода текста в числовую последовательность (векторизация) заключается в преобразовании текста в числовой формат, который могут понимать и обрабатывать алгоритмы машинного обучения. 2

Перед этим текст предварительно подготавливают, выполняя над ним следующие операции: 1

• Токенизация. 1 Разбиение длинных участков текста на более мелкие (абзацы, предложения, слова). 1
• Нормализация. 1 Приведение текста к единообразному виду (единый регистр слов, отсутствие знаков пунктуации, расшифрованные сокращения, словесное написание чисел и т. д.). 1
• Стеммизация. 1 Приведение слова к его корню путём устранения придатков (суффикса, приставки, окончания). 1
• Лемматизация. 1 Приведение слова к смысловой канонической форме слова (инфинитив для глагола, именительный падеж единственного числа — для существительных и прилагательных). 1
• Чистка. 1 Удаление стоп-слов, которые не несут смысловой нагрузки (артикли, междометья, союзы, предлоги и т. д.). 1

После предварительной подготовки текст становится пригодным для перевода в числовую форму. 1 Для такой трансформации используются специальные модели, например:

• «Сумка слов» (bag of words). 1 Детальная репрезентативная модель для упрощения обработки текстового содержания. 1 Она не учитывает грамматику или порядок слов и нужна для определения количества вхождений отдельных слов в анализируемый текст. 1
• N-граммы. 1 Комбинации из n последовательных терминов для упрощения распознавания текстового содержания. 1 Эта модель определяет и сохраняет смежные последовательности слов в тексте. 1
• Word2Vec. 1 Набор моделей для анализа естественных языков на основе дистрибутивной семантике и векторном представлении слов. 1 Сначала создаётся словарь, «обучаясь» на входных текстовых данных, а затем вычисляется векторное представление слов, основанное на контекстной близости. 1 При этом слова, встречающиеся в тексте рядом, в векторном представлении будут иметь близкие числовые координаты. 1