Какие методы существуют для автоматического определения языка текста?

Некоторые методы для автоматического определения языка текста:

• Использование словарей. www.gramota.net Заключается в переборе словарей множества языков и поиске совпадений слов текста со словами в этих словарях. www.gramota.net Метод относительно простой, но требует больших энергетических и временных затрат. www.gramota.net
• Алгоритм N-грамм. libeldoc.bsuir.by Основан на статистиках документов, для которых язык и кодировка известны заранее. libeldoc.bsuir.by В этом методе подсчитываются частоты N-грамм (сочетаний символов или подстрок длиной не более N). libeldoc.bsuir.by После этого среди всех тестовых документов находится тот, для которого расстояние от его N-граммной статистики до статистики тестируемого документа минимально. libeldoc.bsuir.by После этого языком тестируемого документа считается язык найденного тестового документа. libeldoc.bsuir.by
• Статистический метод. inf.grid.by На основании тренировочного корпуса текстов для каждого языка определяется распределение вероятностей униграмм и биграмм, образующих поисковые образы языков. inf.grid.by Далее для входного документа также строится распределение вероятностей составляющих его N-грамм. inf.grid.by Используя метрику Кульбака — Лейблера, вычисляется относительная энтропия между вероятностными распределениями входного документа и всеми поисковыми образами языков. inf.grid.by Тексту назначается язык с минимальной относительной энтропией. inf.grid.by
• Метод строковых ядер. inf.grid.by Принципы работы этого метода близки методу N-грамм. inf.grid.by
• Инструмент определения языка на основе векторно-пространственной модели. translatedlabs.com Создаётся n-мерное представление текста с использованием в качестве координат статистических свойств последовательностей байтов, найденных в тексте. translatedlabs.com Та же операция выполняется с ранее загруженными справочными текстами. translatedlabs.com В n-мерном пространстве вставленный текст будет иметь точное положение. translatedlabs.com Справочный текст, расположенный к нему ближе всего, будет наиболее на него похожим. translatedlabs.com