Некоторые методы взлома классических шифров:
Частотный анализ. ru.wikipedia.org Основной инструмент для взлома большинства классических шифров перестановки или замены. ru.wikipedia.org Метод основывается на предположении о существовании нетривиального статистического распределения символов, а также их последовательностей одновременно и в открытом тексте, и в шифротексте. ru.wikipedia.org При условии достаточно большой длины шифрованного сообщения моноалфавитные шифры легко поддаются частотному анализу: если частота появления буквы в языке и частота появления некоторого присутствующего в шифротексте символа приблизительно равны, то в этом случае с большой долей вероятности можно предположить, что данный символ и будет этой самой буквой. ru.wikipedia.org
Метод Касиски. ru.wikipedia.org Применяется для взлома шифра Виженера. ru.wikipedia.org Основная идея метода заключается в следующем: если в открытом тексте между двумя одинаковыми наборами символов находится такой блок текста, что его длина кратна длине ключевого слова, то эти одинаковые наборы символов открытого текста при шифровании перейдут в одинаковые отрезки шифротекста. ru.wikipedia.org На практике это означает то, что при наличии в шифротексте одинаковых отрезков длиной в три и больше символов, велика вероятность того, что эти отрезки соответствуют одинаковым отрезкам открытого текста. ru.wikipedia.org
Поиск восхождением к вершине. habr.com Метод используется для взлома шифра простой замены. habr.com Для этого выбирается случайная последовательность букв — основной ключ, шифртекст расшифровывается с его помощью, для получившегося текста вычисляется коэффициент, характеризующий вероятность принадлежности к естественному языку. habr.com Затем основной ключ подвергается небольшим изменениям (перестановка двух произвольно выбранных букв), производится расшифровка и вычисляется коэффициент полученного текста. habr.com Если коэффициент выше сохранённого значения, то основной ключ заменяется на модифицированный вариант. habr.com Шаги повторяются, пока коэффициент не станет постоянным. habr.com
Для взлома классических шифров также могут применяться аналитические методы, которые предполагают математическое изучение алгоритма шифрования. www.hse.ru