В чем особенности алгоритмов обработки больших текстовых массивов?

Некоторые особенности алгоритмов обработки больших текстовых массивов:

• Сложность и отсутствие формализации. 2 Для таких задач нет полноценного набора решений, поэтому применяют вспомогательные методы, например выделение ключевых слов и словосочетаний, суммаризацию текстов и их классификацию. 2
• Высокая размерность. 1 Количество потенциальных возможностей часто превышает количество документов. 1
• Необходимость в параллельной работе. 4 Алгоритмы должны справляться с данными, которые поступают очень быстро и в большом объёме, который постоянно увеличивается. 4
• Работа с разнородными и слабо структурированными данными. 4 Например, с информацией, которая поступает из разных источников: социальных сетей, блогов, форумов, новостных сайтов и других. 4
• Использование лингвистических правил, статистических методов и методов машинного обучения. 4 Инструменты текстовой аналитики позволяют осуществлять сбор, систематизацию и анализ текстовых данных в автоматическом режиме. 4
• Разбиение текста на фрагменты. 5 Меньшие куски легче обрабатывать и анализировать, а анализ небольших, когерентных фрагментов может дать более точные результаты. 5