Код Хаффмана информационная энтропия?

Код Хаффмана — это жадный алгоритм оптимального префиксного кодирования алфавита с минимальной избыточностью. ru.wikipedia.org ru.ruwiki.ru Он создаёт таблицу кодов переменной длины для кодирования исходного символа на основе оценочной вероятности или частоты появления (веса) для каждого возможного значения исходного символа. www.tutorialspoint.com Более распространённые символы обычно представлены меньшим количеством битов, чем менее распространённые символы. www.tutorialspoint.com

Информационная энтропия определяется как средняя скорость, с которой информация генерируется случайным источником данных. www.tutorialspoint.com Она также представляет собой среднее число бит на символ, которое требуется для описания источника. siblec.ru

Избыточность кода Хаффмана понимается как отличие среднего числа бит на символ от энтропии. ru.wikipedia.org Например, если энтропия источника, независимым образом порождающего символы с определёнными частотностями, составляет ~2,1858 бита на символ, то избыточность построенного для такого источника кода Хаффмана может составлять менее 0,05 бита на символ. ru.wikipedia.org