Что такое векторизация TF/IDF?

TF-IDF (Term Frequency-Inverse Document Frequency) — это метод векторизации признаков, широко используемый при анализе текстов. bigdataschool.ru Он помогает отразить важность слова как в документе, так и во всём корпусе (совокупность всех документов). bigdataschool.ru

Метод состоит из двух компонент: Term Frequency (TF, частота слова) и Inverse Document Frequency (IDF, обратная частота документа). bigdataschool.ru TF считается как отношение встречаемости слов к общему числу слов в документе. bigdataschool.ru Часть IDF считается для каждого слова в словаре, а не в документе. bigdataschool.ru

В TF-IDF редкие слова и слова, которые встречаются в большинстве документов, несут мало информации, а значит им даётся небольшой вес внутри вектора. vc.ru