В чём заключается концепция информации в теории Клода Шеннона?

Концепция информации в теории Клода Шеннона заключается в том, что информация — это сообщения, которые уменьшают или полностью снимают неопределённость в выборе одной из возможных альтернатив. repository.buk.by

Некоторые аспекты концепции:

• Единица информации — бит. repository.buk.by go-ra.ru Это один разряд двоичного кода, который может принимать только два взаимоисключающих значения: «да» или «нет», «1» или «0», «включено» или «выключено». repository.buk.by
• Информативность сообщения связана с его новизной и неожиданностью. repository.buk.by Чем выше вероятность какого-либо события, тем меньше информации содержит сообщение о таком событии. repository.buk.by
• Энтропия — базисное понятие теории информации, которое означает степень случайности или «перемешанности» системы. repository.buk.by go-ra.ru Чем больше равновероятных вариантов, тем больше неопределённость, и, соответственно, тем больше информации содержится в сообщении, снимающем неопределённость. repository.buk.by
• Предел Шеннона — максимальная пропускная способность любого канала связи для надёжной передачи информации. go-ra.ru Учёный доказал, что, хотя можно приблизиться к этому максимуму за счёт искусного кодирования, достичь его невозможно. go-ra.ru