Код Хаффмана информационная энтропия?

Код Хаффмана — это жадный алгоритм оптимального префиксного кодирования алфавита с минимальной избыточностью. 23 Он создаёт таблицу кодов переменной длины для кодирования исходного символа на основе оценочной вероятности или частоты появления (веса) для каждого возможного значения исходного символа. 1 Более распространённые символы обычно представлены меньшим количеством битов, чем менее распространённые символы. 1

Информационная энтропия определяется как средняя скорость, с которой информация генерируется случайным источником данных. 1 Она также представляет собой среднее число бит на символ, которое требуется для описания источника. 4

Избыточность кода Хаффмана понимается как отличие среднего числа бит на символ от энтропии. 2 Например, если энтропия источника, независимым образом порождающего символы с определёнными частотностями, составляет ~2,1858 бита на символ, то избыточность построенного для такого источника кода Хаффмана может составлять менее 0,05 бита на символ. 2