В чём заключается концепция информации в теории Клода Шеннона?

Концепция информации в теории Клода Шеннона заключается в том, что информация — это сообщения, которые уменьшают или полностью снимают неопределённость в выборе одной из возможных альтернатив. 1

Некоторые аспекты концепции:

• Единица информации — бит. 14 Это один разряд двоичного кода, который может принимать только два взаимоисключающих значения: «да» или «нет», «1» или «0», «включено» или «выключено». 1
• Информативность сообщения связана с его новизной и неожиданностью. 1 Чем выше вероятность какого-либо события, тем меньше информации содержит сообщение о таком событии. 1
• Энтропия — базисное понятие теории информации, которое означает степень случайности или «перемешанности» системы. 14 Чем больше равновероятных вариантов, тем больше неопределённость, и, соответственно, тем больше информации содержится в сообщении, снимающем неопределённость. 1
• Предел Шеннона — максимальная пропускная способность любого канала связи для надёжной передачи информации. 4 Учёный доказал, что, хотя можно приблизиться к этому максимуму за счёт искусного кодирования, достичь его невозможно. 4