Какие существуют способы обработки текстовой информации для анализа частотности символов?

Некоторые способы обработки текстовой информации для анализа частотности символов:

• Очистка текста. habr.com Для проведения частотного анализа и определения тематики текста рекомендуется очистить его от знаков пунктуации, лишних пробельных символов и цифр. habr.com Очистить текст можно с помощью встроенных функций работы со строками, регулярных выражений или других способов. habr.com
• Токенизация. education.yandex.ru Это разделение текста на единицы, которые будут анализироваться в ходе текстового анализа. education.yandex.ru Это могут быть слова, слоги, словосочетания, предложения или отдельные буквы. education.yandex.ru
• Удаление стоп-слов. habr.com education.yandex.ru К стоп-словам (или шумовым словам) относят предлоги, союзы, междометия, частицы и другие части речи, которые часто встречаются в тексте, являются служебными и не несут смысловой нагрузки. habr.com
• Лемматизация. education.yandex.ru Это процесс приведения слов к их начальной форме. thecode.media
• Подсчёт статистики встречаемости слов в тексте. habr.com Для этого используют специальные библиотеки, например NLTK. habr.com
• Визуализация популярности слов в виде облака. habr.com Это диаграмма, которая содержит слова, размер шрифта которых отражает их популярность в тексте. habr.com