Как работает кодирование сообщений с использованием кода Фано?

Кодирование сообщений с использованием кода Фано (также известно как алгоритм Шеннона — Фано) основано на использовании кодов переменной длины: часто встречающийся символ кодируется кодом меньшей длины, редко встречающийся — кодом большей длины. ru.wikipedia.org ru.ruwiki.ru

Алгоритм включает следующие этапы: ru.wikipedia.org

1. Символы первичного алфавита выписывают по убыванию вероятностей. ru.wikipedia.org ru.ruwiki.ru
2. Полученный алфавит делят на две части, суммарные вероятности символов которых максимально близки друг другу. ru.wikipedia.org ru.ruwiki.ru
3. Для первой части алфавита присваивается двоичная цифра «0», второй части — «1». ru.wikipedia.org ru.ruwiki.ru
4. Полученные части рекурсивно делятся, и их частям назначаются соответствующие двоичные цифры в префиксном коде. ru.wikipedia.org ru.ruwiki.ru
5. Когда размер подалфавита становится равен нулю или единице, то дальнейшего удлинения префиксного кода для соответствующих ему символов первичного алфавита не происходит. ru.wikipedia.org ru.ruwiki.ru

Код строится с помощью дерева. ru.wikipedia.org ru.ruwiki.ru Всё множество кодируемых элементов соответствует корню дерева (вершине первого уровня). ru.wikipedia.org ru.ruwiki.ru Оно разбивается на два подмножества с примерно одинаковыми суммарными вероятностями. ru.wikipedia.org ru.ruwiki.ru Эти подмножества соответствуют двум вершинам второго уровня, которые соединяются с корнем. ru.wikipedia.org ru.ruwiki.ru Далее каждое из этих подмножеств разбивается на два подмножества с примерно одинаковыми суммарными вероятностями. ru.wikipedia.org ru.ruwiki.ru Им соответствуют вершины третьего уровня. ru.wikipedia.org ru.ruwiki.ru

Если подмножество содержит единственный элемент, то ему соответствует концевая вершина кодового дерева, такое подмножество разбиению не подлежит. ru.wikipedia.org ru.ruwiki.ru Подобным образом поступают до тех пор, пока не получат все концевые вершины. ru.wikipedia.org ru.ruwiki.ru

Ветви кодового дерева размечают символами 1 и 0. ru.wikipedia.org ru.ruwiki.ru

Условие Фано заключается в том, что ни одно кодовое слово не может быть префиксом другого. itchief.ru Это означает, что любое сообщение, закодированное с использованием таких кодов, можно будет расшифровать без ошибок и неоднозначностей. itchief.ru