Принцип Шеннона в теории информации заключается в том, что информация — это сообщения, которые уменьшают или полностью снимают неопределённость в выборе одной из возможных альтернатив. repository.buk.by
Некоторые аспекты принципа Шеннона:
- Использование бита в качестве единицы информации. repository.buk.by Бит — один разряд двоичного кода, который может принимать только два взаимоисключающих значения: «да» или «нет», «1» или «0» и т. п.. repository.buk.by
- Связь информативности сообщения с его новизной и неожиданностью. repository.buk.by Чем выше вероятность какого-либо события, тем меньше информации содержит сообщение о таком событии. repository.buk.by
- Использование понятия энтропии. repository.buk.by hightech.fm Это изначальная неопределённость, которая становится базисным понятием теории информации. repository.buk.by Чем больше равновероятных вариантов, тем больше неопределённость, и, соответственно, тем больше информации содержится в сообщении, снимающем неопределённость. repository.buk.by
- Учёт влияния предшествующих битов на следующий. habr.com Каждый новый бит частично ограничен предшествующими, поэтому несёт в себе в некоторой степени меньше содержания, чем тот, что заключает в себе реальную информацию. habr.com
Теория Шеннона в целом предназначалась для систем связи и позволяла решать задачи, связанные с передачей информации. www.losev-it.ru