Как Клод Шеннон изменил теорию измерения информации?

Клод Шеннон изменил теорию измерения информации, предложив единицу измерения — бит и понятие информационной энтропии. habr.com ru.ruwiki.ru

Бит Шеннон определил как количество полученной информации при нахождении ответа на вопрос, в котором возможны только два варианта ответа (например, «да» или «нет»), причём оба — с одинаковой вероятностью. ru.wikipedia.org ru.ruwiki.ru

Понятие энтропии Шеннон ввёл как меру неопределённости информации. ru.wikipedia.org ru.ruwiki.ru Он продемонстрировал, что введённая им энтропия эквивалентна мере неопределённости информации в передаваемом сообщении. ru.ruwiki.ru

Кроме того, Шеннон отделил среду передачи от собственно сообщения, что позволило дать общую теорию для всех коммуникаций и привести все виды связи к единой форме абстрактных математических терминов. 3dnews.ru

Благодаря разработкам Шеннона стало ясно, каким образом информацию следует кодировать — как для защиты от искажений, так и для наиболее быстрой, эффективной передачи. 3dnews.ru