Для чего измеряют меру информационной энтропии?

Question

Объясните, какой толк в измерении меры информационной энтропии по формуле Шеннона H = Sum_i ( p(i)log_2 p(i) ) (т. е. для чего нам знать какой символ появится с наибольшей вероятностью) , если и так ясно, что на какой-либо символ алфавита Источника Сообщений (со стандартным объемом в 256 символов) приходится I = log_2 256 = 8 бит (формула Хартли)?

Светлана Глухарева · Accepted Answer

Эта формула говорит нам о возможности сжатия информации. Т. е. если появление разных символов алфавита неравновероятно, то можно провести перекодирование без потери информации таким образом, что символы нового алфавита будут появляться с равной вероятностью, но зато символов этих будет меньше и для них потребуется, скажем, не 8 бит на символ, а 7.