TF-IDF (Term Frequency-Inverse Document Frequency) — это метод векторизации признаков, широко используемый при анализе текстов. 4 Он помогает отразить важность слова как в документе, так и во всём корпусе (совокупность всех документов). 4

Метод состоит из двух компонент: Term Frequency (TF, частота слова) и Inverse Document Frequency (IDF, обратная частота документа). 4 TF считается как отношение встречаемости слов к общему числу слов в документе. 4 Часть IDF считается для каждого слова в словаре, а не в документе. 4

В TF-IDF редкие слова и слова, которые встречаются в большинстве документов, несут мало информации, а значит им даётся небольшой вес внутри вектора. 1