В чем заключается принцип минимизации неопределенности в информационной теории?

Принцип минимизации неопределённости в информационной теории заключается в том, что наибольшее количество информации должно соответствовать минимуму неопределённости (энтропии). yandex.ru

Уменьшение неопределённости всегда связано с выбором (отбором) одного или нескольких элементов (альтернатив) из некоторого их множества. www.miigaik.ru

Например, чем меньше вероятность какого-либо события, тем большую неопределённость снимает сообщение о его появлении и, следовательно, тем большее количество информации оно несёт. www.miigaik.ru