Какие основные проблемы возникают при создании и использовании лингвистических корпусов?

Некоторые основные проблемы, которые возникают при создании и использовании лингвистических корпусов:

• Проблема представительности. ru.wikipedia.org Корпус состоит из конечного числа текстов, но он должен адекватно отражать лексико-грамматические феномены, типичные для всего объёма текстов в соответствующем языке. ru.wikipedia.org Для представительности важен как размер, так и структура корпуса. ru.wikipedia.org
• Проблема разметки. ru.wikipedia.org Для каждого корпуса обязательны такие этапы, как токенизация (разбиение на орфографические слова), лемматизация (приведение словоформ к словарной форме) и морфологический анализ. ru.wikipedia.org
• Проблема представления результатов. ru.wikipedia.org В больших корпусах поиск по запросу может выдавать сотни и даже тысячи результатов (контекстов употребления), которые невозможно просмотреть в ограниченное время. ru.wikipedia.org
• Проблема сбалансированности. elibrary.udsu.ru Под сбалансированностью понимается пропорциональное представление в корпусе текстов различных периодов, жанров, стилей, авторов и т. п.. elibrary.udsu.ru
• Проблема доступа. elibrary.udsu.ru Многие корпусы являются платными, а доступ к некоторым из них в режиме онлайн отсутствует. elibrary.udsu.ru
• Проблема дублирования текстов. publications.hse.ru Если в корпусе один и тот же текст будет повторяться (пусть даже частично), это создаст перекос в количественных данных, например, некоторое слово в результатах поиска будет отображаться чаще, чем оно реально встречается в языке. publications.hse.ru