Что такое теорема о кодировании источника?

Теорема о кодировании источника (также известна как теорема Шеннона) устанавливает связь между средней длиной кодового слова и энтропией источника. studfile.net

Теорема утверждает, что чем ближе к энтропии источника, тем более эффективно кодирование. studfile.net В идеальном случае, когда средняя длина кодового слова минимальна, код называют эффективным и оптимальным. studfile.net

Кроме того, теорема определяет наименьшее среднее число кодовых символов, которые приходятся на один символ (сообщение) источника и которыми может быть закодирована информация источника без потерь. ru.wikipedia.org