Как просто объяснить, что такое энтропия (из теории информации)?

Энтропия в теории информации — это мера неопределённости некоторой системы, в частности, непредсказуемость появления какого-либо символа первичного алфавита. ru.ruwiki.ru spravochnick.ru

Проще говоря, чем выше энтропия, тем больше неопределённости связано с определением символа (числа, буквы и т.д.). dzen.ru

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотностью, поэтому неопределённость появления для некоторых букв меньше, чем для других. ru.ruwiki.ru

Также энтропия — это разница между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. ru.ruwiki.ru ru.wikipedia.org