Основная идея теории информации Клода Шеннона заключается в том, что «информационная ценность» передаваемого сообщения зависит от степени неожиданности его содержания. 1

Если происходит событие с высокой вероятностью, сообщение содержит очень мало информации. 1 С другой стороны, если происходит крайне маловероятное событие, сообщение становится гораздо более информативным. 1

Например, знание того, что какое-то конкретное число не будет выигрышным номером лотереи, даёт очень мало информации, потому что любое конкретное выбранное число почти наверняка не выиграет. 1 Однако знание о том, что определённое число выиграет в лотерею, имеет высокую информационную ценность, поскольку оно сообщает о наступлении события с очень низкой вероятностью. 1

Также Шеннон ввёл понятие информационной энтропии, которое является мерой неопределённости информации. 2