Какие методы существуют для автоматического определения начальной формы слова в больших текстовых массивах?

Некоторые методы для автоматического определения начальной формы слова в больших текстовых массивах:

• Использование специальных словарей. cyberleninka.ru В них описываются все возможные формы выделенного множества слов, с которым работает анализатор. cyberleninka.ru Однако для хранения форм слова требуется значительное пространство на внешнем носителе, а поиск в больших словарях производится достаточно медленно. cyberleninka.ru
• Методы формальной логики и статистического анализа. cyberleninka.ru Суть этих подходов заключается в описании правил словообразования либо в виде набора продукций (формальная логика), либо в виде набора усреднённых характеристик различных форм слов (статистический анализ). cyberleninka.ru
• Использование искусственных нейронных сетей. cyberleninka.ru Например, двухслойного персептрона. cyberleninka.ru На вход сети поступает закодированная нормализованная информация, а на выходе получается вектор, показывающий начальную форму слова, поданного на вход. cyberleninka.ru
• Лемматизация. www.iis.nsk.su python-school.ru Это процесс приведения словоформы к лемме — нормальной (словарной) форме слова. www.iis.nsk.su