Некоторые методы фильтрации текста на основе ключевых слов:

• Статистические методы. 2 Предполагают построение множества кандидатов ключевых слов путём ранжирования всех словоформ или лексем документа по частоте. 2 Фильтрация заключается в отборе в качестве ключевых определённого количества наиболее частотных лексем. 2
• Методы на основе машинного обучения. 2 Для создания обучающей выборки и построения модели-классификатора, как правило, требуется корпус документов с размеченными ключевыми словами. 2 Далее высчитывается релевантность каждого слова тренировочного текста путём сопоставления ему вектора значений различных параметров, например, меры TF-IDF, длины слова, части речи, положения слова в заголовке и т. д.. 2 Далее вычисляется вероятность отнесения каждого слова к группе ключевых и задаётся её порог, то есть модель обучается. 2 Извлечение ключевых слов из нового документа происходит путём вычисления релевантности слов и их вероятности отнесения к ключевым в соответствии с построенной моделью. 2
• Морфологический анализ. 3 Перед определением части речи каждого слова необходимо добавить фильтрацию на стоп-слова (в русском языке это в основном союзы и предлоги). 3 Такие слова встречаются почти в каждом предложении и не несут большой информативной нагрузки, не влияют на построение ключевых словосочетаний, но добавляют много шума. 3
• Синтаксический анализ. 3 Для построения словосочетаний можно просто пройтись скользящим окном по каждому предложению и объединить стоящие рядом слова. 3 Однако в русском языке связанные слова могут находиться не рядом друг с другом. 3 Чтобы автоматизировать процесс поиска связанных внутри предложения слов, проводят синтаксический анализ всех предложений и определяют семантические связи. 3