В чем преимущества и недостатки различных алгоритмов стемминга?

Некоторые алгоритмы стемминга и их особенности:

• Алгоритмы поиска. ru.ruwiki.ru ru.wikipedia.org Преимущества — простота, скорость, лёгкость обработки исключений. ru.ruwiki.ru ru.wikipedia.org К недостаткам относят то, что все флективные формы должны быть явно перечислены в таблице: новые или незнакомые слова не будут обрабатываться, даже если они правильные. ru.ruwiki.ru ru.wikipedia.org Также таблица поиска может быть очень большой. ru.ruwiki.ru ru.wikipedia.org
• Алгоритмы усечения окончаний. ru.ruwiki.ru ru.wikipedia.org Такие алгоритмы гораздо эффективнее, чем алгоритмы полного перебора. ru.ruwiki.ru Для разработки таких алгоритмов нужен программист, который хорошо разбирается в лингвистике и умеет кодировать «правила усечения». ru.ruwiki.ru ru.wikipedia.org Такие алгоритмы неэффективны для исключительных ситуаций. ru.ruwiki.ru
• Стохастические алгоритмы. masters.donntu.ru Связаны с вероятностным определением корневой формы слова. masters.donntu.ru Для таких алгоритмов строится вероятностная модель и необходимо обучение с помощью таблицы соответствия корневых и флективных форм. masters.donntu.ru
• Алгоритмы сопоставления. masters.donntu.ru Используют базу данных основ слов. masters.donntu.ru С целью выявления правильной основы слова, алгоритм сопоставляет слово с основами из базы, применяя различные ограничения: например, длину искомой основы. masters.donntu.ru
• Стемминг на основе корпуса текстов. ru.ruwiki.ru masters.donntu.ru Помогает предотвратить конфликтные ситуации алгоритма Портера, например, как «policy/police», так как шанс встретить данные слова вместе довольно низкий. masters.donntu.ru

Некоторые недостатки алгоритмов стемминга:

• Перестемминг. dzen.ru Происходит, когда слишком большая часть слова обрезается. dzen.ru Это может привести к бессмысленным стемам, где значение слова потеряно. dzen.ru Или же к тому, что совершенно неродственные слова будут приведены к одной и той же основе. dzen.ru
• Недостемминг. dzen.ru Происходит, когда несколько слов, которые на самом деле являются формами друг друга, не «разрешаются» в одно древо родственных слов. dzen.ru
• Основной недостаток — найденные с помощью алгоритмов стемминга стеммы не всегда соответствуют морфологическому корню слов. e-notabene.ru Обычно такие проблемы возникают в тех случаях, когда тип слова заранее неизвестен, либо словоформа образована в соответствии с несколькими правилами. e-notabene.ru