Какие методы используются для автоматического выделения морфем в современном программировании?

Для автоматического выделения морфем в современном программировании используются различные методы, среди них:

• Методы на базе машинного обучения. cyberleninka.ru Например, GloVe и Word2Vec, которые основаны на идеях дистрибутивной семантики. cyberleninka.ru Также используется метод FastText, который при обучении применяет n-граммы букв текста. cyberleninka.ru
• Морфемная сегментация. cyberleninka.ru www.hse.ru Слово разбивается на составляющие его морфемы. cyberleninka.ru
• Морфемная сегментация с классификацией. cyberleninka.ru www.hse.ru Помимо разделения слова на морфемы, нужно определить их тип: приставка, корень, суффикс и т. д.. cyberleninka.ru www.hse.ru
• Стемминг. masters.donntu.ru Это процесс нахождения основы слова для заданного исходного слова. masters.donntu.ru Стемминг применяется в поисковых системах для расширения поискового запроса, ускорения времени обработки запроса. masters.donntu.ru
• Использование нейронных сетей. cyberleninka.ru www.hse.ru Например, модель, построенная на сверточных нейронных сетях (CNN), обучена на данных словаря Тихонова. cyberleninka.ru
• Применение мемоизации. cyberleninka.ru Этот метод сохраняет информацию о существующих морфемах словаря: для каждой буквы кодируется информация о вхождении её в одну из морфем обучающей выборки и о том, находится ли эта буква на границе морфемы. cyberleninka.ru