Какие существуют методы фильтрации текста на основе ключевых слов?

Некоторые методы фильтрации текста на основе ключевых слов:

• Статистические методы. cyberleninka.ru Предполагают построение множества кандидатов ключевых слов путём ранжирования всех словоформ или лексем документа по частоте. cyberleninka.ru Фильтрация заключается в отборе в качестве ключевых определённого количества наиболее частотных лексем. cyberleninka.ru
• Методы на основе машинного обучения. cyberleninka.ru Для создания обучающей выборки и построения модели-классификатора, как правило, требуется корпус документов с размеченными ключевыми словами. cyberleninka.ru Далее высчитывается релевантность каждого слова тренировочного текста путём сопоставления ему вектора значений различных параметров, например, меры TF-IDF, длины слова, части речи, положения слова в заголовке и т. д.. cyberleninka.ru Далее вычисляется вероятность отнесения каждого слова к группе ключевых и задаётся её порог, то есть модель обучается. cyberleninka.ru Извлечение ключевых слов из нового документа происходит путём вычисления релевантности слов и их вероятности отнесения к ключевым в соответствии с построенной моделью. cyberleninka.ru
• Морфологический анализ. habr.com Перед определением части речи каждого слова необходимо добавить фильтрацию на стоп-слова (в русском языке это в основном союзы и предлоги). habr.com Такие слова встречаются почти в каждом предложении и не несут большой информативной нагрузки, не влияют на построение ключевых словосочетаний, но добавляют много шума. habr.com
• Синтаксический анализ. habr.com Для построения словосочетаний можно просто пройтись скользящим окном по каждому предложению и объединить стоящие рядом слова. habr.com Однако в русском языке связанные слова могут находиться не рядом друг с другом. habr.com Чтобы автоматизировать процесс поиска связанных внутри предложения слов, проводят синтаксический анализ всех предложений и определяют семантические связи. habr.com