Некоторые современные алгоритмы, которые используются для анализа текста:

• TF-IDF. 1 Статистический метод, который оценивает важность слова в документе относительно всей коллекции документов. 1 Чем чаще слово встречается в документе и реже в других документах, тем выше его значение. 1
• RAKE (Rapid Automatic Keyword Extraction). 1 Алгоритм, который работает на основе частоты появления слов и их соседства в тексте. 1 RAKE выделяет ключевые фразы путём анализа их статистических характеристик. 1
• YAKE (Yet Another Keyword Extractor). 1 Независимый от языка алгоритм для извлечения ключевых слов, который использует комбинацию нескольких метрик для оценки важности слов. 1
• TextRank. 1 Алгоритм, основанный на графовом подходе, который использует ранжирование вершин (слов) в графе на основе их связей с другими вершинами. 1
• Метод извлечения смысла (Meaning Extraction Method, MEM). 3 Автоматически определяет слова, которые используются вместе и естественным образом составляют определённую тему. 3 Алгоритм сопоставляет их с категориями и словарями программы либо формирует новую категорию. 3
• Метод LDA (Latent Dirichlet Allocation). 4 Предназначен для тематического моделирования, чтобы выявить абстрактные темы, на которые написан пул текстов. 4
• Метод WordToVec. 4 Служит для решения задачи поиска наиболее семантически похожих слов в тексте. 4