Некоторые методы предобработки текста перед классификацией:

1. Токенизация. 12 Разбиение длинных участков текста на более мелкие (абзацы, предложения, слова). 1
2. Нормализация. 1 Приведение текста к единообразному виду: единый регистр слов, отсутствие знаков пунктуации, расшифрованные сокращения, словесное написание чисел и т. д.. 1
3. Стеммизация. 1 Приведение слова к его корню путём устранения придатков (суффикса, приставки, окончания). 1
4. Лемматизация. 1 Приведение слова к смысловой канонической форме слова (инфинитив для глагола, именительный падеж единственного числа — для существительных и прилагательных). 1
5. Очистка текста. 2 Удаление ненужных символов, таких как пунктуация, цифры и стоп-слова (часто встречающиеся слова, которые не несут значимой информации). 2