Некоторые алгоритмы, которые используются для автоматического анализа текстовой информации:
- Нейросетевые алгоритмы. www.osp.ru Позволяют извлекать из текста индекс в виде сети основных понятий и их связей с весовыми характеристиками. www.osp.ru
- Алгоритмы морфологического анализа. cyberleninka.ru С их помощью распознаются элементы морфологической структуры слова — корни, основа, аффиксы, окончания. cyberleninka.ru К алгоритмам, широко применяемым на морфологическом уровне, относятся стемминг и лемматизация. cyberleninka.ru
- Лексическая декомпозиция. cyberleninka.ru Предусматривает разбивку текста на токены. cyberleninka.ru
- Алгоритмы семантического уровня. cyberleninka.ru Предусматривают анализ семантики языковых единиц (например, структурно-семантических отношений), либо анализ структуры связного текста, в том числе моделирование его тематической структуры. cyberleninka.ru
Также для автоматического анализа текстовой информации используются идентификатор языка, экстрактор характеристик, аннотатор, категоризатор и кластеризатор. www.osp.ru