Некоторые методы для автоматического определения начальной формы слова в больших текстовых массивах:

• Использование специальных словарей. 2 В них описываются все возможные формы выделенного множества слов, с которым работает анализатор. 2 Однако для хранения форм слова требуется значительное пространство на внешнем носителе, а поиск в больших словарях производится достаточно медленно. 2
• Методы формальной логики и статистического анализа. 2 Суть этих подходов заключается в описании правил словообразования либо в виде набора продукций (формальная логика), либо в виде набора усреднённых характеристик различных форм слов (статистический анализ). 2
• Использование искусственных нейронных сетей. 2 Например, двухслойного персептрона. 2 На вход сети поступает закодированная нормализованная информация, а на выходе получается вектор, показывающий начальную форму слова, поданного на вход. 2
• Лемматизация. 45 Это процесс приведения словоформы к лемме — нормальной (словарной) форме слова. 4