В чем заключается принцип Шеннона при кодировании данных?

Возможно, имелись в виду теоремы Шеннона, которые описывают принципы кодирования информации. studfile.info moodle.kstu.ru

Первая теорема Шеннона, или основная теорема о кодировании при отсутствии помех, гласит: при отсутствии помех передачи всегда возможен такой вариант кодирования сообщения, при котором среднее число знаков кода, приходящихся на один знак кодируемого алфавита, будет сколь угодно близко к отношению средних информаций на знак первичного и вторичного алфавитов. studfile.info profbeckman.narod.ru

Вторая теорема Шеннона устанавливает принципы помехоустойчивого кодирования. studfile.info Она утверждает, что при наличии помех в канале всегда можно найти такую систему кодирования, при которой сообщения будут переданы с заданной достоверностью. studfile.info

Также Шеннон показал, что самый короткий код не может быть меньше в битах, чем энтропия сообщения. hightech.fm Энтропия при этом выступает мерой информации в сообщении. hightech.fm

Кроме того, Шеннон доказал, что если пропускная способность канала выше энтропии источника сообщений, то сообщение можно закодировать так, что оно будет передано без излишних задержек. profbeckman.narod.ru