Какие методы используются для ранжирования информационных блоков в экстрактативной суммаризации?

Для ранжирования информационных блоков в экстрактивной суммаризации используются разные методы, среди них:

• Эвристические методы, основанные на частоте слов в исходном документе. vital.lib.tsu.ru Пример такого метода — Luhn. vital.lib.tsu.ru
• Графовые методы. www.machinelearning.ru vital.lib.tsu.ru Текст представляют в виде графа и оценивают вес каждого предложения на основе структуры полученного графа. www.machinelearning.ru Один из таких методов — TextRank. www.machinelearning.ru vital.lib.tsu.ru
• Методы, основанные на машинном обучении. www.analyticsvidhya.com vital.lib.tsu.ru Такие методы требуют, чтобы важные предложения в исходном документе были размечены. vital.lib.tsu.ru Это позволяет моделям оценивать предложения нового входного документа и добавлять наиболее важные в реферат. vital.lib.tsu.ru Примеры таких методов — машины опорных векторов (SVM) и случайные леса. www.analyticsvidhya.com
• Метод на основе вхождения общих слов. habr.com В этом алгоритме входной текст разбивают на предложения и токены (отдельные слова), проводят лемматизацию. habr.com Затем задают функцию схожести для каждой пары предложений. habr.com Она рассчитывается как отношение числа общих слов, встречающихся в обоих предложениях, к их суммарной длине. habr.com
• Метод TF-IDF. www.analyticsvidhya.com В нём сначала текст разбивают на предложения, затем на отдельные слова. www.analyticsvidhya.com Из слов удаляют стоп-слова, а затем вычисляют частоту каждого слова. www.analyticsvidhya.com Затем оценивают каждое предложение на основе частоты употребления его слов, и для формирования резюме выбирают предложения с наибольшим количеством баллов. www.analyticsvidhya.com