Энтропия в теории информации — это мера неопределённости некоторой системы, в частности, непредсказуемость появления какого-либо символа первичного алфавита. 23

Проще говоря, чем выше энтропия, тем больше неопределённости связано с определением символа (числа, буквы и т.д.). 1

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотностью, поэтому неопределённость появления для некоторых букв меньше, чем для других. 2

Также энтропия — это разница между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. 25