Какие существуют подходы к определению количества информации в алфавитном кодировании?

Один из подходов к определению количества информации в алфавитном кодировании — алфавитный подход. www.work5.ru spravochnick.ru Он основан на представлении информации как последовательности символов из определённого алфавита. www.work5.ru

Некоторые принципы алфавитного подхода:

• Представление информации через алфавит. www.work5.ru Каждый алфавит определяет множество возможных сообщений, которые можно составить из его символов. www.work5.ru
• Размер алфавита. www.work5.ru Чем больше размер алфавита, тем больше разнообразие сообщений, которые можно составить. www.work5.ru
• Комбинаторика символов. www.work5.ru Алфавитный подход опирается на законы комбинаторики, которые позволяют подсчитать количество уникальных комбинаций символов. www.work5.ru
• Логарифмическая оценка информации. www.work5.ru Количество информации рассчитывается через логарифм числа возможных сообщений с основанием, равным размеру алфавита. www.work5.ru На практике чаще используется логарифм по основанию 2, чтобы измерять объём информации в битах. www.work5.ru
• Независимость символов. www.work5.ru Алфавитный подход предполагает, что символы в сообщении независимы и равновероятны. www.work5.ru
• Универсальность подхода. www.work5.ru Алфавитный подход применяется к различным типам данных: текстовым, числовым, графическим, звуковым. www.work5.ru

Для определения количества информации в сообщении с помощью алфавитного подхода используют формулу Хартли: I = N |* log2М, где М — количество символов в используемом алфавите, N — длина сообщения, I — количество информации в сообщении в битах. urok.1sept.ru